এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
পজিশন এনকোডিং
টোকেনগুলির ক্রম বোঝার জন্য মডেলকে সক্ষম করতে ইনপুট এম্বেডিংগুলিতে পরম বা আপেক্ষিক অবস্থান তথ্য যোগ করার কৌশল।
প্রি-লেয়ার নরমালাইজেশন
অ্যাটেনশন এবং ফিড-ফরওয়ার্ড সাব-লেয়ারগুলির আগে প্রয়োগ করা লেয়ার নরমালাইজেশনের একটি বৈকল্পিক, গভীর ট্রান্সফরমারগুলিতে প্রশিক্ষণের স্থিতিশীলতা উন্নত করে।
পোস্ট-লেয়ার নরমালাইজেশন
অ্যাটেনশন এবং ফিড-ফরওয়ার্ড সাব-লেয়ারগুলির পরে প্রয়োগ করা লেয়ার নরমালাইজেশনের মূল কনফিগারেশন, অবশিষ্ট সংযোগের সাথে সংযুক্ত।
আরএমএস নরমালাইজেশন
কম্পিউটেশনাল জটিলতা হ্রাস করার সময় কর্মক্ষমতা বজায় রেখে শুধুমাত্র অ্যাক্টিভেশনগুলির গড় বর্গমূল ব্যবহার করে লেয়ার নরমালাইজেশনের একটি কার্যকরী বৈকল্পিক।
এনকোডার-ডিকোডার স্ট্রাকচার
একটি এনকোডার যা ইনপুট সিকোয়েন্স প্রক্রিয়া করে এবং একটি ডিকোডার যা আউটপুট সিকোয়েন্স তৈরি করে এমন একটি দ্বি-দিকনির্দেশক আর্কিটেকচার, ট্রান্সফরমার মডেলগুলির ভিত্তি।
লেয়ারনর্ম ইপসিলন
অ্যাক্টিভেশনগুলির ভ্যারিয়েন্স গণনা করার সময় শূন্য দ্বারা বিভাজন এড়াতে লেয়ার নরমালাইজেশনে যোগ করা সংখ্যাসূচক স্থিতিশীলতা প্যারামিটার।