এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
ডিস্টিলবার্ট (ডিস্টিল্ড বি.ই.আর.টি)
জ্ঞান পাতনের মাধ্যমে তৈরি বিইআরটির একটি হালকা সংস্করণ, যা বিইআরটি বেসের ৯৭% কর্মক্ষমতা মাত্র ৪০% প্যারামিটার দিয়ে ধরে রাখে দ্রুত অনুমানের জন্য।
পজিশনাল এম্বেডিংস
বিইআরটিতে টোকেন এম্বেডিংয়ের সাথে যুক্ত ভেক্টর যা সিকোয়েন্সিয়াল অবস্থান এনকোড করে, কারণ শুধুমাত্র অ্যাটেনশন টোকেনের ক্রম ধরে রাখতে পারে না।
বিইআরটি-বেস বনাম বিইআরটি-লার্জ
বিইআরটির দুটি প্রধান কনফিগারেশন: বেস (১২ স্তর, ৭৬৮ লুকানো মাত্রা, ১১০ মিলিয়ন প্যারামিটার) এবং লার্জ (২৪ স্তর, ১০২৪ মাত্রা, ৩৪০ মিলিয়ন প্যারামিটার) বিভিন্ন পারফরম্যান্স/রিসোর্স ব্যালেন্সের জন্য।
বিইআরটি ফাইন-টিউনিং
বিইআরটির প্রি-ট্রেইনড ওজনকে নির্দিষ্ট কাজের জন্য অভিযোজিত করার প্রক্রিয়া, যেখানে শ্রেণিবিন্যাস স্তর যোগ করা হয় এবং লক্ষ্য কাজের লেবেলযুক্ত ডেটায় প্রশিক্ষণ দেওয়া হয়।
[SEP] টোকেন
বিইআরটিতে ব্যবহৃত বিশেষ টোকেন যা বিভিন্ন টেক্সট সেগমেন্টকে আলাদা করে (যেমন প্রশ্নোত্তর বা NSP কাজে বাক্য জোড়া), সেগমেন্টের সীমানা চিহ্নিত করে।
প্রি-ট্রেইনিং উদ্দেশ্যসমূহ
স্ব-তত্ত্বাবধানে শেখার কাজ (MLM এবং NSP) যা বিইআরটিকে বিশাল অলেবেলড কর্পাসে প্রি-ট্রেইন করতে ব্যবহৃত হয়, সাধারণ ভাষাগত উপস্থাপনা শেখার জন্য।
ট্রান্সফরমার এনকোডার স্ট্যাক
বিইআরটির মৌলিক আর্কিটেকচার যা একাধিক ট্রান্সফরমার এনকোডার স্তর নিয়ে গঠিত, প্রতিটি মাল্টি-হেড অ্যাটেনশন মেকানিজম এবং ফিড-ফরওয়ার্ড নেটওয়ার্ক সহ।
ডোমেইন-স্পেসিফিক বিইআরটি
বিশেষায়িত কর্পাসে প্রি-ট্রেইন করা বিইআরটির ভেরিয়েন্ট (বায়োমেডিক্যালের জন্য BioBERT, বৈজ্ঞানিকের জন্য SciBERT, আর্থিকের জন্য FinBERT) যা ওই ডোমেইনে উন্নত পারফরম্যান্স দেয়।
মাল্টিলিংগুয়াল BERT (mBERT)
একটি BERT-এর পূর্ব-প্রশিক্ষিত সংস্করণ যা ১০৪টি ভাষায় একটি ভাগ করা শব্দভাণ্ডার ব্যবহার করে প্রশিক্ষিত, এবং একটি একক মডেল দিয়ে একাধিক ভাষায় পাঠ্য বুঝতে ও প্রক্রিয়া করতে সক্ষম।
BERTology
গবেষণার একটি ক্ষেত্র যা BERT-ধরনের মডেলগুলির বিশ্লেষণ, ব্যাখ্যা এবং উন্নয়নের ওপর নিবদ্ধ, তাদের অভ্যন্তরীণ আচরণ এবং ভাষাগত ক্ষমতা অধ্যয়ন করে।