এআই গ্লসারি

📖

শব্দ

KV Cache

ইনফারেন্স অপ্টিমাইজেশন যা পূর্ববর্তী টোকেনগুলির কী (keys) এবং ভ্যালু (values) ক্যাশে করে, যাতে প্রতিটি নতুন টোকেন জেনারেশনের সময় অ্যাটেনশন স্টেট পুনরায় গণনা করা এড়ানো যায়।

📖

শব্দ

RLHF (Reinforcement Learning from Human Feedback)

একটি অ্যালাইনমেন্ট প্যারাডাইম যেখানে মডেলকে রিইনফোর্সমেন্ট লার্নিংয়ের মাধ্যমে ফাইন-টিউন করা হয়, মানব পছন্দ থেকে প্রাপ্ত রিওয়ার্ড ব্যবহার করে এর আচরণ ক্যালিব্রেট করার জন্য।

📖

শব্দ

মাল্টি-হেড অ্যাটেনশন মেকানিজম

অ্যাটেনশনের একটি সম্প্রসারণ যেখানে একাধিক হেড সমান্তরালভাবে বিভিন্ন প্রজেক্টেড সাব-স্পেসে অ্যাটেনশনাল রিপ্রেজেন্টেশন গণনা করে, যা মডেলকে সিকোয়েন্সের বিভিন্ন দিকের উপর ফোকাস করতে দেয়।

📖

শব্দ

শুধুমাত্র ডিকোডার (Decoder-Only)

ট্রান্সফরমার আর্কিটেকচার যা কেবলমাত্র ডিকোডার ব্লক নিয়ে গঠিত, কজাল মাস্কিং সহ, যা অটোরিগ্রেসিভ ভাষা মডেলিং এবং জেনারেশন কাজের জন্য অপ্টিমাইজ করা হয়েছে।

📖

শব্দ

সম্ভাবনা ঘনত্ব মডেলিং

ভাষা মডেলের একটি মৌলিক উদ্দেশ্য যা প্রতিটি অবস্থানে একটি সিকোয়েন্সের জন্য শর্তাধীন সম্ভাবনা P(token_t | tokens_<t) অনুমান করতে শেখে।