Efficient Transformers

অক্ষীয় অ্যাটেনশন

মাল্টিডাইমেনশনাল অ্যাটেনশনকে এক-মাত্রিক অ্যাটেনশনে পচানো, যা প্রতিটি অক্ষে ক্রমানুসারে প্রয়োগ করা হয়। অক্ষীয় অ্যাটেনশন জটিলতা O(n²) থেকে O(n*d) এ কমিয়ে দেয়, যেখানে d হল মাত্রার সংখ্যা।

← ফিরে যান