एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
अटेंशन मैकेनिज्म
प्रसंस्करण के दौरान मॉडल को इनपुट के विभिन्न भागों के महत्व को तौलने की अनुमति देता है।
स्व-ध्यान
एक ऐसा तंत्र जहां अनुक्रम का प्रत्येक तत्व उसी अनुक्रम के सभी अन्य तत्वों पर ध्यान केंद्रित करता है।
मल्टी-हेड अटेंशन
स्व-ध्यान का विस्तार जो विभिन्न प्रकार के संबंधों को पकड़ने के लिए समानांतर में कई ध्यान सिरों का उपयोग करता है।
पोजिशनल एनकोडिंग
RNN का उपयोग किए बिना एंबेडिंग्स में स्थिति की जानकारी को एकीकृत करने की तकनीक।
एनकोडर-डिकोडर आर्किटेक्चर
ट्रांसफॉर्मर की मूल संरचना जिसमें समझने के लिए एनकोडर और उत्पन्न करने के लिए डिकोडर होता है।
स्केल्ड डॉट-प्रोडक्ट अटेंशन
ट्रांसफार्मर में ध्यान गणना की बुनियादी गणितीय रूप मापन के साथ
फीड-फॉरवर्ड नेटवर्क्स
ट्रांसफॉर्मर्स में प्रत्येक अटेंशन परत के बाद लागू किए गए पूर्ण-रूप से जुड़े हुए नेटवर्क।
Layer Normalization
Technique de normalisation appliquée dans les Transformers pour stabiliser l'entraînement.
Attention Masks
Mécanisme pour contrôler quels tokens peuvent s'attentionner sur d'autres tokens.
Vision Transformers (ViT)
Application de l'architecture Transformer au traitement d'images en divisant les images en patches.
BERT Architecture
Transformer encoder-only pré-entraîné avec objectives de masked language modeling.
GPT Architecture
Transformer decoder-only optimisé pour la génération de texte de manière auto-régressive.
Cross-Attention
Mécanisme d'attention entre deux séquences différentes dans les encodeurs-décodeurs.
Sparse Attention
Variante de l'attention réduisant la complexité en ne calculant que des paires sélectives.
पदानुक्रमिक ध्यान
विभिन्न ग्रेन्युलैरिटी पैमानों पर ध्यान लगाने वाली बहु-स्तरीय वास्तुकला।
ध्यान दृश्यांकन
ट्रांसफार्मर के ध्यान भारों की व्याख्या और दृश्यांकन के लिए तकनीकें।
ट्रांसफार्मर अनुकूलन
बड़े ट्रांसफार्मर मॉडल्स के प्रभावी प्रशिक्षण के लिए विशिष्ट विधियां।
बहु-मोडल ट्रांसफॉर्मर्स
विस्तारित ट्रांसफॉर्मर आर्किटेक्चर जो कई प्रकार के डेटा को एक साथ संसाधित करने के लिए है।
कुशल ट्रांसफॉर्मर्स
कम्प्यूटेशनल जटिलता को कम करने के लिए ट्रांसफॉर्मर्स के अनुकूलित वेरिएंट।
ध्यान तंत्र के प्रकार
डॉट-प्रोडक्ट के अलावा ध्यान तंत्र के विभिन्न दृष्टिकोण और सुधार।