এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
অ্যাটেনশন হেড বিশ্লেষণ (Attention Head Analysis)
প্রতিটি হেড দ্বারা উৎপন্ন অ্যাটেনশন ওজনের পরীক্ষা ও ব্যাখ্যা করার প্রক্রিয়া, যাতে প্রতিটি হেড কী ধরনের প্যাটার্ন ও সম্পর্ক শিখেছে তা বোঝা যায়।
হেডের বিশেষীকরণ (Head Specialization)
একই স্তরের বিভিন্ন অ্যাটেনশন হেডের এমন ঘটনা যেখানে তারা স্বতন্ত্র ভাষাগত সম্পর্ক যেমন সিনট্যাক্স, সেমান্টিক্স বা দীর্ঘ দূরত্বের নির্ভরতা শিখতে বিশেষায়িত হয়।
অ্যাটেনশন ওজন ম্যাট্রিক্স (Attention Weight Matrix)
একটি অ্যাটেনশন হেড দ্বারা উৎপন্ন বর্গাকার ম্যাট্রিক্স, যেখানে প্রতিটি উপাদান (i, j) একটি সিকোয়েন্সের প্রেক্ষাপটে টোকেন j-এর জন্য টোকেন i-এর গুরুত্ব বা প্রাসঙ্গিকতার স্কোর নির্দেশ করে।
অ্যাটেনশন ম্যাপ (Attention Map)
অ্যাটেনশন ওজন ম্যাট্রিক্সের একটি ভিজ্যুয়ালাইজেশন, সাধারণত হিটম্যাপ আকারে, যা একটি অ্যাটেনশন হেডের ইনপুট সিকোয়েন্সের উপর ফোকাসের সম্পর্ককে গ্রাফিকভাবে প্রদর্শন করে।
সিনট্যাক্টিক ভূমিকা (Syntactic Role)
এক ধরনের সম্পর্ক, যেমন কর্তা-ক্রিয়া সংযোগ বা বিশেষ্য ও তার বিশেষণের মধ্যে নির্ভরতা, যা একটি বিশেষায়িত অ্যাটেনশন হেড শনাক্ত ও মডেল করতে শেখে।
অবস্থানগত ভূমিকা (Positional Role)
একটি অ্যাটেনশন হেডের কাজ যা মূলত টোকেনগুলির মধ্যে আপেক্ষিক অবস্থানের সম্পর্কের উপর মনোযোগ দেয়, যা মডেলকে শব্দের ক্রম বুঝতে সাহায্য করে, তাদের শব্দার্থিক বিষয়বস্তু থেকে স্বাধীনভাবে।
অবস্থানগত হেড (Positional Head)
একটি অ্যাটেনশন হেড যার অ্যাটেনশন ওজন টোকেনগুলির মধ্যে আপেক্ষিক দূরত্বের সাথে দৃঢ়ভাবে সম্পর্কিত প্যাটার্ন প্রকাশ করে, যা ক্রমিক কাঠামো এনকোড করার একটি প্রক্রিয়া হিসেবে কাজ করে।
সাবওয়ার্ড হেড (Subword Head)
একটি অ্যাটেনশন হেড যা BPE-এর মতো টোকেনাইজার দ্বারা উৎপন্ন শব্দের খণ্ডাংশগুলির (সাবওয়ার্ড) মধ্যে সম্পর্ক পরিচালনায় বিশেষায়িত, যা শব্দগত সামঞ্জস্য পুনর্গঠনে সহায়তা করে।
পুনরুদ্ধার হেড (Retrieval Head)
বৃহৎ মডেলে শনাক্ত করা একটি অ্যাটেনশন হেড যা তথ্য পুনরুদ্ধারের প্রক্রিয়া হিসেবে কাজ করে, নির্দিষ্ট টোকেনগুলির সঙ্গে দৃঢ়ভাবে সংযুক্ত হয় যেগুলি মনে রাখা জ্ঞানের 'কী' হিসেবে কাজ করে।
হেডের অপ্রয়োজনীয়তা (Head Redundancy)
একটি পর্যবেক্ষণ যেখানে একটি অতিরিক্ত প্যারামিটারযুক্ত মডেলের কিছু অ্যাটেনশন হেড খুবই অনুরূপ বা অভিন্ন কাজ শেখে, যা সম্পদের ব্যবহারে সম্ভাব্য অদক্ষতা নির্দেশ করে।
অ্যাটেনশন হেড প্রুনিং (Attention Head Pruning)
মডেল সংকোচনের একটি কৌশল যা অপ্রয়োজনীয় বা কম গুরুত্বপূর্ণ অ্যাটেনশন হেড শনাক্ত ও অপসারণ করে মডেলের আকার এবং গণনাগত খরচ কমাতে, কর্মক্ষমতার উপর ন্যূনতম প্রভাব ফেলে।
হেডের গুরুত্ব স্কোর (Head Importance Score)
একটি পরিমাণগত মেট্রিক, যা প্রায়শই একটি হেড অপসারণের ফলে লস বা মডেলের কর্মক্ষমতার সংবেদনশীলতা থেকে প্রাপ্ত হয়, এবং এটি হেডগুলিকে তাদের সামগ্রিক কার্যকারিতায় অবদানের ভিত্তিতে শ্রেণিবদ্ধ করতে ব্যবহৃত হয়।
হেড ইন্ডাকশন বিশ্লেষণ (Head Induction Analysis)
একটি পদ্ধতি যেখানে একটি সাধারণ সুপারভাইজড মডেল (যেমন একটি লিনিয়ার ক্লাসিফায়ার) একটি অ্যাটেনশন হেডের আউটপুটে প্রশিক্ষিত হয়, যাতে সেই হেডটি কী ধরনের অন্তর্নিহিত কাজ শিখেছে তা আবিষ্কার করা যায়।
কর্ণিক অ্যাটেনশন প্যাটার্ন (Diagonal Attention Pattern)
একটি অ্যাটেনশন ওজন প্যাটার্ন যেখানে একটি হেড মূলত টোকেন নিজের উপরেই ফোকাস করে (স্ব-অ্যাটেনশন), যা প্রায়শই নিম্ন স্তরে স্থানীয় উপস্থাপনা পরিমার্জনের জন্য দেখা যায়।
উল্লম্ব অ্যাটেনশন প্যাটার্ন (Vertical Attention Pattern)
একটি প্যাটার্ন যেখানে একটি অ্যাটেনশন হেড একটি নির্দিষ্ট রেফারেন্স টোকেনের (প্রায়শই সিকোয়েন্সের শুরু বা ক্লাস মার্কার) উপর সমস্ত অবস্থানের জন্য ফোকাস করে, শ্রেণিবিন্যাসের কাজের জন্য তথ্য একত্রিত করে।
ব্লক অ্যাটেনশন প্যাটার্ন (Block Attention Pattern)
একটি প্যাটার্ন যেখানে একটি অ্যাটেনশন হেড সিকোয়েন্সের সংলগ্ন অংশগুলিতে ফোকাস করে, যা বাক্য বা স্থানীয় ক্লজ প্রক্রিয়াকরণে বিশেষীকরণ নির্দেশ করে।
অনুবাদ শিরোনাম (Translation Head)
বহুভাষিক মডেলগুলিতে, মনোযোগের শিরোনাম যা বিভিন্ন ভাষার মধ্যে শব্দ এবং বাক্যগুলির সারিবদ্ধতা শিখে, ভাষাগত জ্ঞানের স্থানান্তরকে সহজতর করে।
মাল্টি-হেড অ্যাটেনশন মেকানিজম (Multi-Head Attention)
ট্রান্সফরমার মডেলের একটি মৌলিক উপাদান যা একাধিক অ্যাটেনশন হেডকে সমান্তরালে কার্যকর করে, তাদের আউটপুটগুলিকে সংযুক্ত করে এবং প্রজেক্ট করে যাতে মডেলটি একই সময়ে বিভিন্ন অবস্থান এবং প্রতিনিধিত্বের স্থানগুলিতে মনোযোগ দিতে পারে।
হেডের ব্যাখ্যাযোগ্যতা (Head Interpretability)
গবেষণার একটি ক্ষেত্র যা ট্রান্সফরমার মডেলের অভ্যন্তরীণ কার্যক্রমকে স্পষ্ট করার জন্য প্রতিটি অ্যাটেনশন হেডের নির্দিষ্ট কাজ বোঝা, পরিমাপ এবং দৃশ্যায়নের পদ্ধতি উদ্ভাবনের লক্ষ্যে কাজ করে।