এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
অ্যাটেনশন হিটম্যাপ
টোকেনগুলোর মধ্যে সবচেয়ে শক্তিশালী সম্পর্ক (সাধারণত লাল) এবং সবচেয়ে দুর্বল সম্পর্ক (সাধারণত নীল) হাইলাইট করতে রঙের গ্রেডিয়েন্ট ব্যবহার করে অ্যাটেনশন ম্যাট্রিক্সের গ্রাফিকাল ভিজ্যুয়ালাইজেশন।
অ্যালাইনমেন্ট স্কোর
একটি টোকেনের কুয়েরি এবং কী-এর ডট প্রোডাক্ট থেকে প্রাপ্ত কাঁচা মান, সফটম্যাক্স ফাংশন প্রয়োগের আগে, যা তাদের সামঞ্জস্য বা পারস্পরিক প্রাসঙ্গিকতা পরিমাপ করে।
স্কিপ-কানেকশন অ্যাটেনশন মেকানিজম
একটি পর্যবেক্ষিত ঘটনা যেখানে একটি অ্যাটেনশন হেড প্রধানত বর্তমান টোকেনেই ফোকাস করতে শেখে, একটি স্কিপ কানেকশন হিসেবে কাজ করে এবং প্রশিক্ষণের স্থিতিশীলতায় অবদান রাখে।
হেড রোল অ্যানালাইসিস
প্রতিটি অ্যাটেনশন হেডের নির্দিষ্ট কার্যাবলী চিহ্নিত করার জন্য পদ্ধতিগত গবেষণা, যেমন সিনট্যাকটিক সম্পর্ক, দীর্ঘ-দূরত্বের নির্ভরতা বা অবস্থানগত প্যাটার্ন ক্যাপচার করা।
পজিশনাল অ্যাটেনশন
অ্যাটেনশনের একটি উপাদান যা, স্পষ্ট পজিশনাল এনকোডিং ছাড়াই, মডেল দ্বারা শেখা হয় সিকোয়েন্সে আপেক্ষিক অবস্থানের উপর ফোকাস করতে, শব্দের ক্রম সম্পর্কে এর বোঝাপড়া প্রকাশ করে।
লেয়ার-ওয়াইজ অ্যাটেনশন ভিজ্যুয়ালাইজেশন
ব্যাখ্যামূলক কৌশল যা গভীরতার সাথে রিপ্রেজেন্টেশন এবং সম্পর্ক কীভাবে বিকশিত হয় তা বোঝার জন্য একটি ট্রান্সফরমারের প্রতিটি পর successive লেয়ারে অ্যাটেনশন ম্যাপ পরীক্ষা করা নিয়ে গঠিত।
ক্রস-অ্যাটেনশন ওয়েটস
এনকোডার-ডিকোডার মডেলগুলিতে, অ্যাটেনশন ওজন যা আউটপুট সিকোয়েন্স (ডিকোডার) এবং ইনপুট সিকোয়েন্স (এনকোডার) এর টোকেনগুলোর মধ্যে অ্যালাইনমেন্ট পরিমাপ করে।
অ্যাটেনশন রেগুলারাইজেশন
প্রশিক্ষণ কৌশল যা নির্দিষ্ট অ্যাটেনশন প্যাটার্ন, যেমন হেডগুলোর মধ্যে বেশি বৈচিত্র্য বা বেশি স্পারসিটি, উৎসাহিত করতে লস ফাংশনে একটি পেনাল্টি যোগ করে।
BertViz
বার্ট-স্টাইলের মডেলগুলিতে মনোযোগ মেকানিজম পরিদর্শনের জন্য বিশেষভাবে ডিজাইন করা ওপেন-সোর্স ভিজ্যুয়ালাইজেশন টুল, যা হেড এবং স্তর অনুসারে ওজনের ইন্টারেক্টিভ ভিউ প্রদান করে।
মনোযোগ গ্রেডিয়েন্ট
ব্যাখ্যাযোগ্যতার একটি পদ্ধতি যা চূড়ান্ত পূর্বাভাসের উপর প্রতিটি মনোযোগ সংযোগের প্রভাব মূল্যায়নের জন্য মনোযোগ ওজনের সাথে সম্পর্কিত মডেল আউটপুটের গ্রেডিয়েন্ট গণনা করে।
রোলব্যাক মনোযোগ
একটি বিশ্লেষণ যা শেখা নির্ভরতার কার্যকারিতা পরীক্ষা করার জন্য মডেলের আউটপুটের উপর প্রভাব পর্যবেক্ষণ করতে পর্যবেক্ষণ করা মনোযোগ ওজনগুলি ম্যানুয়ালি পরিবর্তন করে (উদাহরণস্বরূপ, কিছুকে শূন্যে সেট করে)।
মনোযোগ হেড ক্লাস্টারিং
একটি পদ্ধতি যা একটি কর্পাসে তাদের ওজন প্যাটার্নের সাদৃশ্যের ভিত্তিতে মনোযোগ হেডগুলিকে গ্রুপ করে, যাতে সাধারণ ভাষাগত কার্যাবলী ভাগ করে নেওয়া হেডগুলির পরিবারগুলি সনাক্ত করা যায়।
হেড দক্ষতা বিশ্লেষণ
মডেলের সামগ্রিক কর্মক্ষমতায় প্রতিটি মনোযোগ হেডের অবদানের পরিমাণগত মূল্যায়ন, প্রায়শই হেড অপসারণ (প্রুনিং) করার সময় কর্মক্ষমতার হ্রাস পরিমাপ করে।
সর্বোচ্চ মনোযোগ
একটি মেট্রিক যা প্রতিটি সোর্স টোকেনের জন্য, সর্বোচ্চ মনোযোগ ওজন প্রাপ্ত টার্গেট টোকেন সনাক্ত করে, যা সবচেয়ে শক্তিশালী অ্যালাইনমেন্টের একটি সরলীকৃত এবং বাইনারি দৃশ্য প্রদান করে।