एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
मास्क्ड अटेंशन
डिकोडर में उपयोग किया जाने वाला सेल्फ-अटेंशन का एक प्रकार, जो प्रत्येक स्थिति को अगली स्थितियों पर ध्यान देने से रोकता है, जिससे ऑटो-रिग्रेसिव जनरेशन और सूचना के रिसाव की रोकथाम सुनिश्चित होती है।
द्विदिशीय एनकोडर-डिकोडर
एक ऐसी वास्तुकला जहाँ एनकोडर इनपुट अनुक्रम को दोनों दिशाओं (बाएं और दाएं संदर्भ) में संसाधित करके एक पूर्ण प्रतिनिधित्व बनाता है, जबकि डिकोडर आउटपुट को ऑटो-रिग्रेसिव तरीके से उत्पन्न करता है।
टोकन एम्बेडिंग
प्रत्येक इनपुट टोकन का सघन सदिश प्रतिनिधित्व, जो प्रशिक्षण के दौरान सीखा जाता है, अर्थ संबंधी और वाक्यात्मक जानकारी को कैप्चर करता है, और अटेंशन परतों के लिए शुरुआती बिंदु के रूप में कार्य करता है।
कोसाइन लर्निंग रेट
एक लर्निंग रेट शेड्यूलिंग रणनीति जो एक कोसाइन फ़ंक्शन के अनुसार घटती है, जिसमें एक प्रारंभिक वार्म-अप चरण होता है, और ट्रांसफार्मर मॉडल के लिए बेहतर अभिसरण प्रदर्शन दिखाती है।
की-वैल्यू-क्वेरी मैकेनिज्म
अटेंशन मैकेनिज्म का एक मूलभूत अमूर्त रूप जहाँ प्रत्येक टोकन को तीन सदिशों में प्रक्षेपित किया जाता है: क्वेरी (जो मैं खोज रहा हूँ), कुंजी (जो मेरे पास है) और मान (जो मैं लौटाता हूँ), अटेंशन वेट्स की गणना करने के लिए।