एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
Bidirectional Attention
Type d'attention où chaque position peut s'atténuer à toutes les autres positions de la séquence sans restriction, permettant de capturer des dépendances contextuelles complètes dans les deux directions.
Residual Connections
Connexions de raccourci qui ajoutent l'entrée d'une couche à sa sortie, permettant un entraînement plus profond en facilitant le flux de gradients et en préservant l'information à travers les multiples couches du Transformer.
Attention Heads
Sous-espaces parallèles indépendants dans le multi-head attention où chaque tête apprend différents schémas d'attention, permettant au modèle de capturer simultanément divers types de relations syntaxiques et sémantiques.
Cross-Modal Attention
Extension de la cross-attention où les requêtes, clés et valeurs proviennent de modalités différentes (texte, image, audio), permettant aux modèles multimodaux d'aligner et de fusionner des informations entre différentes représentations sensorielles.
Attention Heatmap
Visualisation des poids d'attention sous forme de carte thermique montrant comment le modèle distribue son attention entre différentes parties de l'entrée, outil essentiel pour l'interprétabilité des modèles Transformer.