এআই গ্লসারি
কৃত্রিম বুদ্ধিমত্তার সম্পূর্ণ অভিধান
কোয়েরি-কী-ভ্যালু প্রজেকশন
ইনপুট সিকোয়েন্সে প্রয়োগ করা লিনিয়ার ট্রান্সফর্মেশন যা অ্যাটেনশন গণনায় ব্যবহৃত কোয়েরি, কী এবং ভ্যালু ভেক্টর তৈরি করে।
ক্রস-অ্যাটেনশন ম্যাট্রিক্স
সোর্স সিকোয়েন্সের টোকেন এবং টার্গেট সিকোয়েন্সের টোকেনের মধ্যকার সম্পর্ক উপস্থাপনকারী অ্যাটেনশন ওয়েট ম্যাট্রিক্স।
স্কেল্ড ডট-প্রোডাক্ট ক্রস-অ্যাটেনশন
অ্যাটেনশন স্কোর গণনা করতে নরমালাইজড ডট প্রোডাক্ট ব্যবহার করে ক্রস-অ্যাটেনশনের গাণিতিক বাস্তবায়ন।
অ্যাটেনশন ওয়েটস নরমালাইজেশন
একটি যোগফল-এক-হয়ে-যাওয়া সম্ভাব্যতা ডিস্ট্রিবিউশন পেতে অ্যাটেনশন স্কোরগুলিতে সফটম্যাক্স ফাংশন প্রয়োগ করা।
ক্রস-অ্যাটেনশন লেয়ার
নিজস্ব লার্নেবল প্যারামিটার সহ ক্রস-অ্যাটেনশন মেকানিজম বাস্তবায়নকারী নির্দিষ্ট নিউরাল লেয়ার।
ক্রস-অ্যাটেনশন হেড
মাল্টি-হেড ক্রস-অ্যাটেনশনে পৃথক গণনা ইউনিট যা এম্বেডিংয়ের ডাইমেনশন-রিডিউসড সাবস্পেসে কাজ করে।
বাই-ডাইরেকশনাল ক্রস-অ্যাটেনশন
যে কনফিগারেশনে দুটি সিকোয়েন্সের মধ্যে উভয় দিকে অ্যাটেনশন প্রবাহিত হয়, BERT-এর মতো আর্কিটেকচারে ব্যবহৃত।
ক্রস-অ্যাটেনশন রেসিডুয়াল কানেকশন
গভীর ট্রেনিং সহজতর করতে এবং গ্রেডিয়েন্ট সংরক্ষণ করতে ক্রস-অ্যাটেনশন লেয়ারের পরে প্রয়োগ করা রেসিডুয়াল কানেকশন।
Cross-Attention Layer Normalization
Normalisation appliquée avant ou après la cross-attention pour stabiliser l'entraînement et améliorer la convergence.
Cross-Attention Position Encoding
Encodage positionnel injecté pour fournir des informations de position relatives entre tokens des différentes séquences.
Cross-Attention Memory Complexity
Complexité en mémoire O(n²) pour sequences de longueur n et m, constituant le principal goulot d'étranglement des transformeurs.
Cross-Attention Gradient Flow
Propagation du gradient à travers la matrice d'attention pendant la rétropropagation, essentielle pour l'apprentissage des poids d'attention.