Sparse Attention

স্পার্স ফ্যাক্টরাইজড অ্যাটেনশন

সম্পূর্ণ অ্যাটেনশনকে একাধিক স্পার্স ম্যাট্রিক্সের (সাধারণত স্থানীয় এবং গ্লোবাল) গুণফলে বিভক্ত করা, নিয়ন্ত্রিত আনুমানিকতা সহ প্রায়-রৈখিক জটিলতা সম্ভব করে।

← ফিরে যান