एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
ध्यान मैट्रिक्स
एक वर्ग मैट्रिक्स जो किसी अनुक्रम के सभी तत्वों के जोड़े के बीच ध्यान के वजनों को दर्शाती है, मॉडल द्वारा सीखे गए अंतःनिर्भरता पैटर्न को दर्शाती है।
एनकोडर-डिकोडर ध्यान
एक तंत्र जहाँ डिकोडर एनकोडर के आउटपुट पर ध्यान केंद्रित करता है, जिससे seq2seq मॉडल में स्रोत अनुक्रम द्वारा शर्तित अनुक्रमों की रचना होती है।
मास्क किया गया स्व-ध्यान
भविष्य की स्थितियों को मास्क करके स्व-ध्यान, जिससे तत्व बाद की जानकारी न देख सकें, टेक्स्ट जनरेशन कार्यों में आवश्यक।
सॉफ्टमैक्स सामान्यीकरण
एक एक्टिवेशन फंक्शन जो ध्यान स्कोर को प्रायिकता वितरण में बदलता है, यह सुनिश्चित करता है कि प्रत्येक स्थिति के लिए ध्यान वजनों का योग 1 के बराबर हो।
ध्यान हेड
मल्टी-हेड ध्यान का एक उप-घटक जो अपने पैरामीटर के साथ स्वतंत्र रूप से ध्यान गणना करता है, एक विशिष्ट प्रकार की अनुक्रमिक संबंध को कैप्चर करता है।
ध्यान ड्रॉपआउट
प्रशिक्षण के दौरान ध्यान वजनों पर लागू नियमितीकरण, ध्यान पैटर्न के अधिक प्रशिक्षण को रोकने के लिए कुछ कनेक्शन को यादृच्छिक रूप से निष्क्रिय करता है।
मल्टी-स्केल ध्यान
ध्यान का एक वेरिएंट जो अलग-अलग समय या स्थानिक पैमानों पर निर्भरताओं को एक साथ संसाधित करता है, पदानुक्रमित समझ के लिए विभिन्न रिसेप्टिव फील्ड को जोड़ता है।