Sparse Attention

পারফর্মার্স

FAVOR+ (ফাস্ট অ্যাটেনশন ভায়া পজিটিভ অর্থোগোনাল র্যান্ডম ফিচার্স) অ্যাটেনশন ব্যবহার করে সফটম্যাক্স অ্যাটেনশনকে রৈখিক জটিলতায় আনুমানিক করার জন্য মডেলগুলি, গাণিতিক বৈশিষ্ট্যগুলি সংরক্ষণ করে।

← ফিরে যান