মাল্টি-হেড অ্যাটেনশন

আলিবি পজিশন এনকোডিং

টোকেনগুলির মধ্যে দূরত্বের উপর ভিত্তি করে অ্যাটেনশন স্কোরগুলিতে রৈখিক পক্ষপাত যোগ করে অবস্থানগত এনকোডিংয়ের একটি পদ্ধতি। পুনরায় প্রশিক্ষণ ছাড়াই দীর্ঘতর ক্রমগুলিতে আরও ভাল এক্সট্রাপোলেশন ermöglicht।

← ফিরে যান