এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
লেয়ার নরমালাইজেশন
প্রতিটি লেয়ারের অ্যাক্টিভেশন নরমালাইজ করে প্রশিক্ষণ স্থিতিশীল করার একটি নিয়মিতকরণ কৌশল, যা অ্যাটেনশন এবং ফিড-ফরওয়ার্ড সাব-লেয়ারের আগে বা পরে প্রয়োগ করা হয়।
মাস্কিং মেকানিজম
স্ব-রিগ্রেসিভ ডিকোডিংয়ের সময় ভবিষ্যত টোকেনগুলিতে অ্যাক্সেস রোধ করার পদ্ধতি, এবং/অথবা পরিবর্তনশীল দৈর্ঘ্যের সিকোয়েন্সে প্যাডিং টোকেন প্রক্রিয়াকরণ থেকে বিরত রাখা।
ক্যুয়ারি-কী-ভ্যালু প্রজেকশন
ইনপুট এম্বেডিংগুলিকে তিনটি পৃথক ম্যাট্রিক্সে (Q, K, V) রৈখিক রূপান্তর, যা softmax(QK^T/√d_k)V সূত্র অনুসারে অ্যাটেনশন ওজন গণনা করতে ব্যবহৃত হয়।
সাইনুসয়েডাল পজিশনাল এনকোডিং
বিভিন্ন ফ্রিকোয়েন্সির সাইনুসয়েডাল ফাংশন ব্যবহার করে অবস্থানগত এনকোডিং পদ্ধতি, যা মডেলকে দেখা না যায় এমন সিকোয়েন্স দৈর্ঘ্যে এক্সট্রাপোলেট করতে সক্ষম করে।
এনকোডার-কেবল আর্কিটেকচার
শুধুমাত্র এনকোডার স্ট্যাক ব্যবহার করে ট্রান্সফরমার বৈকল্পিক, শ্রেণীবিভাগ বা সেন্টিমেন্ট অ্যানালাইসিসের মতো বোধগম্যতার কাজের জন্য ডিজাইন করা (উদাহরণ: BERT)।
ডিকোডার-কেবল আর্কিটেকচার
কজাল মাস্কিং সহ শুধুমাত্র ডিকোডার স্ট্যাক ব্যবহার করে ট্রান্সফরমার বৈকল্পিক, স্ব-রিগ্রেসিভ টেক্সট জেনারেশনের জন্য অপ্টিমাইজড (উদাহরণ: GPT)।
কোয়াড্রাটিক ইফেক্ট
সিকোয়েন্স দৈর্ঘ্য n-এর সাপেক্ষে স্ট্যান্ডার্ড অ্যাটেনশনের O(n²) কম্পিউটেশনাল এবং মেমরি জটিলতা, যা ট্রান্সফরমারগুলির প্রধান সীমাবদ্ধতা গঠন করে।