এআই গ্লসারি

📖

শব্দ

প্রজেকশন ম্যাট্রিক্স

শেখার যোগ্য ওজন ম্যাট্রিক্স Wq, Wk, Wv যা ইনপুট এম্বেডিংগুলোকে Query, Key, Value স্পেসে রূপান্তর করে, এবং Wo বিভিন্ন অ্যাটেনশন হেডের আউটপুটগুলোকে একত্রিত করে।

📖

শব্দ

প্রি-এলএন ট্রান্সফরমার

আর্কিটেকচারের একটি বৈকল্পিক যেখানে লেয়ার নরমালাইজেশন অ্যাটেনশন এবং ফিড-ফরওয়ার্ডের পরে প্রয়োগ করার পরিবর্তে আগে প্রয়োগ করা হয়, যা গভীর মডেলগুলোর জন্য প্রশিক্ষণের আরও ভাল স্থিতিশীলতা প্রদান করে।