এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
Query-Key-Value (QKV)
মনোযোগ ব্যবস্থায় তিনটি মৌলিক ভেক্টর যেখানে Query তথ্য খোঁজে, Key উপলব্ধ তথ্য চিহ্নিত করে এবং Value উত্তোলনযোগ্য তথ্য ধারণ করে।
পাওয়েটস ডি'অ্যাটেনশন
স্বাভাবিকীকৃত সহগ যা প্রতিটি ইনপুট উপাদানের আপেক্ষিক গুরুত্ব নির্দেশ করে, সাধারণত মনোযোগ স্কোরগুলিতে সফটম্যাক্স প্রয়োগের পরে প্রাপ্ত।
এনকোডেজ পজিশনেল
এম্বেডিংয়ে যোগ করা তথ্য যা একটি সিকোয়েন্সে টোকেনগুলির অবস্থান নির্দেশ করে, ট্রান্সফরমারগুলিতে পুনরাবৃত্তির অনুপস্থিতি পূরণ করে।
অ্যাটেনশন কজাল
লুকানো মনোযোগের একটি প্রকার যেখানে প্রতিটি অবস্থান শুধুমাত্র পূর্ববর্তী অবস্থানগুলিতে মনোযোগ দিতে পারে, প্রধানত টেক্সট জেনারেশন কাজে ব্যবহৃত।
স্কোর ডি'অ্যাটেনশন
একটি ক্যোয়ারী এবং একটি কী-এর মধ্যে গণনা করা কাঁচা মান স্বাভাবিকীকরণের আগে, এই দুটি উপাদানের মধ্যে প্রাসঙ্গিকতা বা সামঞ্জস্য পরিমাপ করে।
নরমালাইজেশন সফটম্যাক্স
মনোযোগ স্কোরগুলিকে সম্ভাব্যতা বন্টনে রূপান্তর করার জন্য প্রয়োগ করা অ্যাক্টিভেশন ফাংশন, নিশ্চিত করে যে ওয়েটগুলির যোগফল 1 এর সমান।
তেতে ডি'অ্যাটেনশন
মাল্টি-হেড অ্যাটেনশনে পৃথক উপ-প্রক্রিয়া, প্রতিটি হেড ডেটার বিভিন্ন দিক বা সম্পর্কে ফোকাস করতে শেখে।
ম্যাট্রিস ডি'অ্যাটেনশন
মনোযোগ ওয়েটের দ্বি-মাত্রিক উপস্থাপনা যা দেখায় কিভাবে প্রতিটি ইনপুট উপাদান সিকোয়েন্সের অন্যান্য সমস্ত উপাদানে মনোযোগ দেয়।
নিউক্লিয়াস সতর্কতা
উপাদানগুলির মধ্যে আরও জটিল অ-রৈখিক সম্পর্কের অনুমতি দিয়ে মনোযোগের ওজন গণনা করতে কার্নেল ফাংশন ব্যবহার করে পদ্ধতি।
বিক্ষিপ্ত সতর্কতা
শুধুমাত্র সবচেয়ে প্রাসঙ্গিক জোড়া বিবেচনা করে গণনা করা মনোযোগ সংযোগের সংখ্যা হ্রাস করে গণনামূলক দক্ষতা উন্নত করার অপ্টিমাইজেশন।