এআই গ্লসারি

📖

শব্দ

স্পার্স ট্রান্সফরমার

দূর-দূরত্বের নির্ভরতা ক্যাপচার করার সময় গণনামূলক সংযোগ হ্রাস করার জন্য পূর্বাভাসমূলক স্পার্স অ্যাটেনশন প্যাটার্ন ব্যবহার করে ভেরিয়েন্ট। আর্কিটেকচার প্রক্রিয়াকরণ অপ্টিমাইজ করার জন্য অ্যাটেনশনকে উপসেটে ফ্যাক্টরাইজ করে।

📖

শব্দ

কম্প্রেসিভ ট্রান্সফরমার

ট্রান্সফরমার-এক্সএল-এর এক্সটেনশন যা দীর্ঘমেয়াদী ইতিহাস সংরক্ষণের জন্য পুরানো হিডেন মেমোরিগুলিকে ঘন ভেক্টরে সংকুচিত করে। এই কম্প্রেশন বিস্তৃত প্রসঙ্গগত তথ্যের দক্ষ স্টোরেজ সক্ষম করে।

📖

শব্দ

ইউনিভার্সাল ট্রান্সফরমার

অভিযোজিত আর্কিটেকচার যেখানে গভীরতা স্থির হওয়ার পরিবর্তে একটি অভিযোজিত স্টপিং মেকানিজম দ্বারা গতিশীলভাবে নির্ধারিত হয়। ইউনিভার্সাল ট্রান্সফরমার অভিযোজিত অ্যাটেনশন সহ শেয়ার্ড ওয়েট ট্রান্সফরমেশন পুনরাবৃত্তিমূলকভাবে প্রয়োগ করে।

📖

শব্দ

সেট ট্রান্সফরমার

পূর্বনির্ধারিত ক্রম ছাড়াই ডেটাসেট প্রক্রিয়া করার জন্য অ্যাটেনশন-ভিত্তিক পারমুটেশন-ইনভেরিয়েন্ট আর্কিটেকচার। সেট ট্রান্সফরমার সেট অপারেশনের জন্য ইন্ডিউসড অ্যাটেনশন ব্লক এবং পুলিং মেকানিজম ব্যবহার করে।

📖

শব্দ

সিনথেসাইজার

ভেরিয়েন্ট যেখানে অ্যাটেনশন ওয়েট টোকেনের বিষয়বস্তুর উপর নির্ভর না করে সরাসরি পজিশন এম্বেডিং থেকে শেখা হয় বা ছোট নেটওয়ার্ক দ্বারা উৎপন্ন হয়। এই পদ্ধতি কিউকে সাদৃশ্য গণনার প্রয়োজন দূর করে।

📖

শব্দ

লিনিয়ার ট্রান্সফরমার

সিকোয়েন্স এবং মেমোরিতে রৈখিক জটিলতা অর্জনের জন্য কার্নেলাইজড অ্যাটেনশন ডিকম্পোজিশন ব্যবহার করে আর্কিটেকচার। লিনিয়ার ট্রান্সফরমার অ্যাসোসিয়েটিভ রিওর্ডারিং সক্ষম করার জন্য পজিটিভ কার্নেল ফাংশন দিয়ে সফটম্যাক্স প্রতিস্থাপন করে।

📖

শব্দ

লোকাল অ্যাটেনশন

প্রতিটি অবস্থানের চারপাশের স্থানীয় এলাকায় সীমাবদ্ধ অ্যাটেনশন মেকানিজম, বিবেচনা করার টোকেন জোড়ার সংখ্যা ব্যাপকভাবে হ্রাস করে। শক্তিশালী স্থানীয় কাঠামো সহ ডেটার জন্য এই পদ্ধতি বিশেষভাবে কার্যকর।

📖

শব্দ

ডাইলেটেড অ্যাটেনশন

জটিলতা বৃদ্ধি না করে দীর্ঘ-পরিসরের নির্ভরতা ক্যাপচার করার জন্য ডাইলেটেড প্যাটার্ন ব্যবহার করে স্লাইডিং উইন্ডো অ্যাটেনশনের এক্সটেনশন। প্যাটার্নের গর্তগুলি রিসেপ্টিভ ফিল্ডের সূচকীয় সম্প্রসারণ সক্ষম করে।

📖

শব্দ

অক্ষীয় অ্যাটেনশন

মাল্টিডাইমেনশনাল অ্যাটেনশনকে এক-মাত্রিক অ্যাটেনশনে পচানো, যা প্রতিটি অক্ষে ক্রমানুসারে প্রয়োগ করা হয়। অক্ষীয় অ্যাটেনশন জটিলতা O(n²) থেকে O(n*d) এ কমিয়ে দেয়, যেখানে d হল মাত্রার সংখ্যা।