এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
এনকোডার স্ট্যাক
ইনপুট সিকোয়েন্সকে সমৃদ্ধ এবং প্রাসঙ্গিক উপস্থাপনায় রূপান্তরকারী অভিন্ন স্তরের স্তূপ, প্রতিটি স্তরে মনোযোগ এবং ফিড-ফরওয়ার্ড নেটওয়ার্ক থাকে।
ডিকোডার স্ট্যাক
আউটপুট সিকোয়েন্স তৈরি করার জন্য স্তরগুলির সমন্বয়ে গঠিত স্থাপত্য, ভবিষ্যতের তথ্য ফাঁস রোধ করতে মাস্কড অ্যাটেনশন এবং এনকোডারের সাথে ক্রস অ্যাটেনশন ব্যবহার করে।
এনকোডার-ডিকোডার অ্যাটেনশন
ডিকোডারকে এনকোডারের উপস্থাপনাগুলি অ্যাক্সেস এবং ফোকাস করতে দেয় এমন প্রক্রিয়া, যাতে প্রতিটি আউটপুট টোকেন তথ্যপূর্ণভাবে তৈরি করা যায়।
লেয়ার নরমালাইজেশন
প্রশিক্ষণ স্থিতিশীল করার কৌশল যা প্রতিটি অবস্থানের জন্য অ্যাক্টিভেশনগুলিকে স্বাভাবিক করে, ট্রান্সফরমার স্থাপত্যের সাব-লেয়ারগুলির আগে বা পরে প্রয়োগ করা হয়।
মাস্কড সেলফ-অ্যাটেনশন
সেলফ-অ্যাটেনশনের একটি বৈকল্পিক যা ডিকোডারে ব্যবহৃত হয়, যেখানে ভবিষ্যতের অবস্থানগুলি মাস্ক করা হয় যাতে জেনারেশনের সময় অনুপলব্ধ তথ্য ব্যবহার রোধ করা যায়।
স্কেল্ড ডট-প্রোডাক্ট অ্যাটেনশন
মনোযোগের গণনা যা কীগুলির মাত্রার বর্গমূল দ্বারা ডট প্রোডাক্টগুলিকে স্বাভাবিক করে, প্রশিক্ষণের সময় গ্রেডিয়েন্ট স্থিতিশীল করার জন্য।
অ্যাটেনশন হেডস
মাল্টি-হেড অ্যাটেনশনে স্বাধীন সাবস্পেস, প্রতিটি ডেটাতে বিভিন্ন ধরনের সম্পর্ক এবং প্যাটার্নে ফোকাস করতে শেখে।
টোকেন এমবেডিং
প্রতিটি ইনপুট টোকেনের ঘন এবং অবিচ্ছিন্ন ভেক্টর উপস্থাপনা, অবস্থানগত তথ্য যোগ করার আগে ট্রান্সফরমার স্থাপত্যের সূচনা বিন্দু।