এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
সাইনুসয়েডাল পজিশনাল এনকোডিং
বিভিন্ন ফ্রিকোয়েন্সির সাইন এবং কোসাইন ফাংশন ব্যবহার করে অনন্য অবস্থান উপস্থাপনা তৈরি করার পজিশনাল এনকোডিং পদ্ধতি, যা মডেলকে প্রশিক্ষণের সময় দেখা যায়নি এমন দীর্ঘ সিকোয়েন্স দৈর্ঘ্যে এক্সট্রাপোলেট করতে সক্ষম করে।
এবসলিউট পজিশনাল এনকোডিং
ঐতিহ্যবাহী পদ্ধতি যেখানে সিকোয়েন্সের প্রতিটি অবস্থান তার পরম অবস্থানের ভিত্তিতে একটি অনন্য এবং নির্দিষ্ট এনকোডিং পায়, সিকোয়েন্সের উপাদানগুলির মধ্যে স্থানিক সম্পর্ক বিবেচনা না করে।
রোটারি পজিশনাল এনকোডিং
RoPE টেকনিক যা ক্যোয়ারী এবং কী এম্বেডিংগুলিতে তাদের পরম অবস্থানের ভিত্তিতে ম্যাট্রিক্স রোটেশন প্রয়োগ করে, অ্যাটেনশন গণনায় স্বাভাবিকভাবে অবস্থান তথ্য সংহত করে যখন ট্রান্সলেশনাল ইনভেরিয়েন্স বৈশিষ্ট্য সংরক্ষণ করে।
আলিবি পজিশনাল এনকোডিং
পদ্ধতি যা টোকেনগুলির মধ্যে দূরত্বের ভিত্তিতে অ্যাটেনশন স্কোরগুলিকে শাস্তি দেয় অ্যাটেনশন ম্যাট্রিক্সে স্ট্যাটিক বায়াস যোগ করে, জটিল আর্কিটেকচারাল পরিবর্তন ছাড়াই দীর্ঘ সিকোয়েন্সে আরও ভাল এক্সট্রাপোলেশন অনুমোদন করে।
কমপ্লেক্স পজিশনাল এনকোডিং
জটিল সংখ্যা ব্যবহার করে অবস্থান উপস্থাপনের পদ্ধতি, যেখানে জটিল সমতলে ঘূর্ণন অবস্থান তথ্য এনকোড করে, দীর্ঘ সিকোয়েন্সের জন্য আরও অভিব্যক্তিপূর্ণ এবং কার্যকর উপস্থাপনা প্রদান করে।
পজিশন এম্বেডিংস
ঘন ভেক্টর যা একটি সিকোয়েন্সে প্রতিটি টোকেনের অবস্থান উপস্থাপন করে, সাধারণত শব্দ এম্বেডিংগুলির মতো একই মাত্রার এবং অ্যাটেনশন মেকানিজমে পাস করার আগে এগুলিতে যোগ করা হয়।
ফিক্সড পজিশনাল এনকোডিং
পজিশনাল এনকোডিংয়ের ধরন যেখানে অবস্থান উপস্থাপনাগুলি পূর্বনির্ধারিত এবং প্রশিক্ষণের সময় পরিবর্তন হয় না, সাধারণত সাইন/কোসাইন বা ফুরিয়ার ট্রান্সফর্মেশন এর মতো গাণিতিক ফাংশনের উপর ভিত্তি করে।
বাইডাইরেকশনাল পজিশনাল এনকোডিং
বাম-ডান এবং ডান-বাম দিকের জন্য পৃথক এনকোডিং ব্যবহার করে টেকনিক, যা মডেলকে BERT মডেলগুলির মতো উভয় দিকে একই সাথে প্রসঙ্গগত তথ্য ক্যাপচার করতে সক্ষম করে।
ফুরিয়ার অবস্থানগত এনকোডিং
অবস্থান উপস্থাপনের জন্য ফুরিয়ার সিরিজ-ভিত্তিক পদ্ধতি, যা ক্রমের বিভিন্ন সময় বা স্থানিক স্কেলে প্যাটার্ন ক্যাপচার করতে বিভিন্ন ফ্রিকোয়েন্সি ব্যবহার করে।
গাউসিয়ান অবস্থানগত এনকোডিং
প্রতিটি অবস্থানে কেন্দ্রীভূত গাউসিয়ান ফাংশন ব্যবহার করে অবিচ্ছিন্ন এবং মসৃণ এনকোডিং তৈরি করার কৌশল, যা ডেটাতে অবিচ্ছিন্ন অবস্থানগত সম্পর্ক মডেলিংয়ের জন্য বিশেষভাবে কার্যকর।
T5 অবস্থানগত এনকোডিং
T5 মডেলে ব্যবহৃত অবস্থানগত এনকোডিংয়ের বৈকল্পিক, যা টেক্সট জেনারেশন টাস্কে আপেক্ষিক অবস্থানের উপস্থাপনা উন্নত করতে শেখা অবস্থান এম্বেডিং এবং অবস্থান স্কেলারগুলিকে একত্রিত করে।
BERT অবস্থানগত এনকোডিং
BERT মডেলগুলিতে ব্যবহৃত নির্দিষ্ট বাস্তবায়ন, যা সর্বোচ্চ 512 আকারের শেখা অবস্থান এম্বেডিং-ভিত্তিক, ট্রান্সফরমার স্তরগুলির আগে সরাসরি টোকেন এম্বেডিংগুলিতে যোগ করা হয়।
GPT অবস্থানগত এনকোডিং
GPT মডেলগুলিতে ব্যবহৃত অবস্থানগত এনকোডিং সিস্টেম, প্রাথমিকভাবে শেখা এম্বেডিং-ভিত্তিক এবং পরে আরও ভাল এক্সট্রাপোলেশনের জন্য নতুন সংস্করণগুলিতে RoPE-এর মতো আরও পরিশীলিত বৈকল্পিকগুলিতে বিকশিত হয়।
অবস্থানগত ইন্টারপোলেশন
এক্সট্রাপোলেশন কৌশল যা বিদ্যমান অবস্থানগত এনকোডিংগুলিকে ইন্টারপোলেট করে নতুন শেখার পরিবর্তে প্রাক-প্রশিক্ষিত মডেলগুলিকে দীর্ঘতর প্রসঙ্গে প্রসারিত করতে দেয়, এইভাবে অর্জিত জ্ঞান সংরক্ষণ করে।