এআই গ্লসারি

📖

শব্দ

লিনফর্মার্স

কমানো মাত্রা k << n-এ কী এবং ভ্যালুর প্রজেকশন ব্যবহার করে রৈখিক জটিলতা সহ ট্রান্সফর্মার আর্কিটেকচার, যা খুব দীর্ঘ সিকোয়েন্সগুলিকে দক্ষতার সাথে প্রক্রিয়া করতে সক্ষম করে।

📖

শব্দ

পারফর্মার্স

FAVOR+ (ফাস্ট অ্যাটেনশন ভায়া পজিটিভ অর্থোগোনাল র্যান্ডম ফিচার্স) অ্যাটেনশন ব্যবহার করে সফটম্যাক্স অ্যাটেনশনকে রৈখিক জটিলতায় আনুমানিক করার জন্য মডেলগুলি, গাণিতিক বৈশিষ্ট্যগুলি সংরক্ষণ করে।

📖

শব্দ

সিঙ্কহর্ন অ্যাটেনশন

হ্রাসকৃত জটিলতা সহ ডাবলি-স্টোকাস্টিক অ্যাটেনশন ম্যাট্রিক্স গণনা করতে সিঙ্কহর্ন-নপ অ্যালগরিদম ব্যবহার করে অ্যাটেনশনের আনুমানিক, যা খুব দীর্ঘ সিকোয়েন্সে প্রয়োগযোগ্য।

📖

শব্দ

লো-র্যাঙ্ক অ্যাটেনশন

সম্পূর্ণ অ্যাটেনশন ম্যাট্রিক্সকে নিম্ন র্যাঙ্কের ম্যাট্রিক্সের গুণফলে ফ্যাক্টরাইজ করার পদ্ধতি, O(n²) থেকে O(nr) পর্যন্ত প্যারামিটার সংখ্যা এবং গণনামূলক জটিলতা হ্রাস করে।

📖

শব্দ

মেমরি-ভিত্তিক অ্যাটেনশন

অতীত টোকেনগুলির প্রাসঙ্গিক তথ্য সংরক্ষণ করতে একটি সংকুচিত বাহ্যিক মেমরি ব্যবহার করে আর্কিটেকচার, যা নির্বিচারে দীর্ঘ সিকোয়েন্সে অ্যাটেনশন সম্ভব করে।

📖

শব্দ

স্পার্স ফ্যাক্টরাইজড অ্যাটেনশন

সম্পূর্ণ অ্যাটেনশনকে একাধিক স্পার্স ম্যাট্রিক্সের (সাধারণত স্থানীয় এবং গ্লোবাল) গুণফলে বিভক্ত করা, নিয়ন্ত্রিত আনুমানিকতা সহ প্রায়-রৈখিক জটিলতা সম্ভব করে।