एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
अटेंशन हीटमैप (Attention Heatmap)
अटेंशन मैट्रिक्स का एक ग्राफिकल विज़ुअलाइज़ेशन जो टोकन के बीच सबसे मजबूत (आमतौर पर लाल रंग में) और सबसे कमजोर (आमतौर पर नीले रंग में) संबंधों को उजागर करने के लिए रंग ग्रेडिएंट का उपयोग करता है।
अलाइनमेंट स्कोर (Alignment Score)
सॉफ्टमैक्स फ़ंक्शन लागू करने से पहले, एक टोकन की क्वेरी (query) और कुंजी (key) के बीच डॉट उत्पाद से प्राप्त कच्चा मान, जो उनकी संगतता या पारस्परिक प्रासंगिकता को मापता है।
स्किप-कनेक्शन अटेंशन मैकेनिज्म (Skip-Connection Attention Mechanism)
देखा गया एक ऐसा घटनाक्रम जहाँ एक अटेंशन हेड मुख्य रूप से वर्तमान टोकन पर ही ध्यान केंद्रित करना सीखता है, एक स्किप-कनेक्शन के रूप में कार्य करता है और प्रशिक्षण की स्थिरता में योगदान देता है।
हेड रोल एनालिसिस (Head Role Analysis)
प्रत्येक अटेंशन हेड के विशिष्ट कार्य को चिह्नित करने के उद्देश्य से किया गया एक व्यवस्थित अध्ययन, जैसे कि सिंटैक्टिक संबंधों, लंबी दूरी की निर्भरता या स्थितिगत पैटर्न को कैप्चर करना।
पोजीशनल अटेंशन (Positional Attention)
अटेंशन का एक घटक जो, स्पष्ट पोजीशनल एन्कोडिंग के बिना, मॉडल द्वारा अनुक्रम में सापेक्ष स्थितियों पर ध्यान केंद्रित करने के लिए सीखा जाता है, जिससे शब्दों के क्रम की उसकी समझ का पता चलता है।
लेयर-वाइज अटेंशन विज़ुअलाइज़ेशन (Layer-wise Attention Visualization)
एक व्याख्यात्मक तकनीक जिसमें ट्रांसफार्मर की प्रत्येक क्रमिक परत पर अटेंशन मैप्स की जांच करना शामिल है ताकि यह समझा जा सके कि प्रतिनिधित्व और संबंध गहराई में कैसे विकसित होते हैं।
क्रॉस-अटेंशन वेट्स (Cross-Attention Weights)
एनकोडर-डिकोडर मॉडल में, अटेंशन वेट्स जो आउटपुट अनुक्रम (डिकोडर) के टोकन और इनपुट अनुक्रम (एनकोडर) के टोकन के बीच संरेखण को मापते हैं।
अटेंशन रेगुलराइज़ेशन (Attention Regularization)
एक प्रशिक्षण तकनीक जो विशिष्ट अटेंशन पैटर्न को प्रोत्साहित करने के लिए लॉस फ़ंक्शन में एक दंड जोड़ती है, जैसे कि हेड्स के बीच अधिक विविधता या अधिक मितव्ययिता।
बर्टविज़
बर्ट-प्रकार के मॉडलों में ध्यान तंत्र का निरीक्षण करने के लिए विशेष रूप से डिज़ाइन किया गया एक ओपन-सोर्स विज़ुअलाइज़ेशन टूल, जो प्रति हेड और प्रति परत भार के इंटरैक्टिव दृश्य प्रदान करता है।
अटेंशन ग्रेडिएंट
एक व्याख्यात्मकता विधि जो प्रत्येक अटेंशन कनेक्शन के अंतिम भविष्यवाणी पर पड़ने वाले प्रभाव का आकलन करने के लिए अटेंशन भार के संबंध में मॉडल के आउटपुट के ग्रेडिएंट की गणना करती है।
पूर्वव्यापी अटेंशन (रोलबैक अटेंशन)
एक विश्लेषण जिसमें सीखी गई निर्भरताओं की कार्य-कारणता का परीक्षण करने के लिए मॉडल के आउटपुट पर पड़ने वाले प्रभाव का निरीक्षण करने हेतु देखे गए अटेंशन भार को मैन्युअल रूप से संशोधित किया जाता है (उदाहरण के लिए, कुछ को शून्य करके)।
अटेंशन हेड्स का क्लस्टरिंग
एक दृष्टिकोण जो एक कॉर्पस पर उनके भार पैटर्न की समानता के आधार पर अटेंशन हेड्स को समूहित करता है, ताकि सामान्य भाषाई कार्यों को साझा करने वाले हेड्स के परिवारों की पहचान की जा सके।
हेड दक्षता विश्लेषण
मॉडल के समग्र प्रदर्शन में प्रत्येक अटेंशन हेड के योगदान का मात्रात्मक मूल्यांकन, अक्सर हेड को हटाने (प्रूनिंग) पर प्रदर्शन में गिरावट को मापकर।
अधिकतम अटेंशन
एक मीट्रिक जो, प्रत्येक स्रोत टोकन के लिए, सबसे अधिक अटेंशन भार प्राप्त करने वाले लक्ष्य टोकन की पहचान करती है, जिससे सबसे मजबूत संरेखणों का एक सरलीकृत और बाइनरी दृश्य प्राप्त होता है।