এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
স্ব-মনোযোগ বহু-মস্তিষ্ক
একটি প্রক্রিয়া যেখানে মডেল বিভিন্ন রৈখিক অভিক্ষেপ সহ সমান্তরালভাবে একাধিকবার মনোযোগ গণনা করে, যা ক্রমের বিভিন্ন অবস্থানে বৈচিত্র্যময় নির্ভরতা ক্যাপচার করতে সক্ষম করে।
প্রশ্ন (কোয়েরি)
বর্তমান উপাদানকে প্রতিনিধিত্বকারী ভেক্টর যার জন্য মনোযোগ গণনা করা হচ্ছে, ক্রমে প্রতিটি মানের গুরুত্ব নির্ধারণ করতে কীগুলির সাথে ইন্টারঅ্যাক্ট করতে ব্যবহৃত হয়।
চাবি (কী)
ক্রমের প্রতিটি উপাদানের সাথে যুক্ত ভেক্টর, মনোযোগ স্কোর গণনা করতে এবং প্রতিটি উপাদানের প্রাসঙ্গিকতা নির্ধারণ করতে প্রশ্নের সাথে তুলনা করতে ব্যবহৃত হয়।
মান (ভ্যালু)
ক্রমের প্রতিটি উপাদানের প্রকৃত তথ্য ধারণকারী ভেক্টর, মনোযোগ প্রক্রিয়ার আউটপুট উৎপাদন করতে মনোযোগ ওজন দ্বারা ওজনযুক্ত।
রৈখিক অভিক্ষেপ
প্রতিটি মনোযোগ মস্তিষ্কে প্রশ্ন, চাবি এবং মানগুলিতে প্রয়োগ করা ম্যাট্রিক্স গুণনের অপারেশন, যা তাদের নিম্ন-মাত্রিক উপ-স্থানে অভিক্ষেপ করে এবং বৈচিত্র্যময় উপস্থাপনা সক্ষম করে।
মডেলের মাত্রা (d_model)
মস্তিষ্কগুলির সংযোজন পরবর্তী প্রশ্ন, চাবি এবং মানগুলির উপস্থাপনার জন্য ব্যবহৃত এম্বেডিং স্পেসের আকার, ট্রান্সফরমার আর্কিটেকচারের একটি মূল পরামিতি।
মস্তিষ্কের মাত্রা (d_k)
হ্রাসকৃত মাত্রা যেখানে প্রতিটি মনোযোগ মস্তিষ্কে প্রশ্ন এবং চাবিগুলি অভিক্ষিপ্ত হয়, মডেলের মাত্রাকে মস্তিষ্কের সংখ্যা দ্বারা ভাগ করে গণনা করা হয়।
মানের মাত্রা (d_v)
মাত্রা যেখানে মান ভেক্টরগুলি প্রতিটি মনোযোগ মস্তিষ্কে অভিক্ষিপ্ত হয়, প্রায়শই আর্কিটেকচার সরল করার জন্য মস্তিষ্কের মাত্রার (d_k) সমান হয়।
কীগুলিতে সফটম্যাক্স
মনোযোগের ওজন হিসেবে কাজ করা একটি স্বাভাবিক সম্ভাবনা বন্টন পেতে মনোযোগের স্কোর (কোয়েরি-কী ডট পণ্য) এর উপর সফটম্যাক্স ফাংশন প্রয়োগ করা।
সমান্তরাল মনোযোগ প্রক্রিয়া
জিপিইউ-এর উপর গণনামূলক দক্ষতা অপ্টিমাইজ করে গ্রুপ করা ম্যাট্রিক্স অপারেশন ব্যবহার করে সমস্ত মনোযোগ হেড একই সাথে গণনা করার বাস্তবায়ন।
উপস্থাপনা উপস্থান
নিম্ন-মাত্রিক ভেক্টর স্পেস যেখানে প্রতিটি মনোযোগ হেড ডেটা প্রজেক্ট করে, ডেটাতে বিভিন্ন ধরনের সম্পর্ক এবং প্যাটার্ন ক্যাপচার করতে সক্ষম করে।
মনোযোগের ওজন
সফটম্যাক্স ফাংশন থেকে প্রাপ্ত স্বাভাবিক সহগ যা বর্তমান উপাদানের আউটপুট নির্মাণের জন্য প্রতিটি মানের গুরুত্ব পরিমাপ করে।
দীর্ঘ-পরিসরের নির্ভরতা
ক্রমে দূরবর্তী টোকেনগুলির মধ্যে সরাসরি সম্পর্ক মডেল করার জন্য স্ব-মনোযোগ প্রক্রিয়ার ক্ষমতা, যা পুনরাবৃত্ত নেটওয়ার্কগুলির একটি সীমাবদ্ধতা কাটিয়ে উঠেছে।