এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
QKV উপস্থাপনা
ইনপুট এম্বেডিংগুলিকে তিনটি পৃথক ভেক্টর স্পেসে প্রজেক্ট করা: Query (কোয়েরি), Key (কী) এবং Value (ভ্যালু), যা যথাক্রমে অ্যাটেনশন স্কোর গণনা, ওজন ওজন করা এবং আউটপুট তৈরি করতে ব্যবহৃত হয়।
অ্যাটেনশন মাস্ক
অ্যাটেনশন স্কোরগুলিতে প্রয়োগ করা বাইনারি বা অবিচ্ছিন্ন ম্যাট্রিক্স যা নিয়ন্ত্রণ করে কোন টোকেনগুলি অন্যের দিকে মনোযোগ দিতে পারে, ডিকোডার মডেলগুলিতে ভবিষ্যতের টোকেনগুলিতে প্রতারণা রোধ করার জন্য গুরুত্বপূর্ণ।
অ্যাটেনশন সফটম্যাক্স
ওজনগুলিকে সম্ভাব্যতা বন্টনে স্বাভাবিক করার জন্য অ্যাটেনশন স্কোরগুলিতে সফটম্যাক্স ফাংশন প্রয়োগ করা, নিশ্চিত করে যে প্রতিটি কোয়েরি অবস্থানের জন্য ওজনের যোগফল 1 এর সমান।
কার্যকারণ পক্ষপাত
স্বয়ং-রিগ্রেসিভ মডেলগুলিতে আরোপিত সীমাবদ্ধতা যেখানে প্রতিটি অবস্থান শুধুমাত্র বর্তমান এবং অতীতের অবস্থানগুলিতে মনোযোগ দিতে পারে, প্রশিক্ষণের সময় ভবিষ্যতের অবস্থানগুলিকে মাস্ক করে।
আউটপুট প্রজেকশন
অ্যাটেনশন হেডগুলির সংযুক্ত মাত্রাকে পরবর্তী স্তরগুলির জন্য প্রত্যাশিত মাত্রায় ম্যাপ করার জন্য অ্যাটেনশনের আউটপুটে প্রয়োগ করা চূড়ান্ত রৈখিক রূপান্তর।