Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Attention Weights Visualization
Technique graphique représentant les valeurs numériques d'attention entre les tokens d'une séquence, utilisant des intensités de couleur ou de taille pour quantifier les relations d'importance.
Heat Maps
Représentation matricielle bidimensionnelle où les couleurs codent l'intensité des poids d'attention, permettant d'identifier rapidement les zones de forte concentration attentionnelle.
Attention Heads Analysis
Étude comparative des patterns d'attention individuels dans chaque tête de mécanisme multi-tête, révélant les spécialisations fonctionnelles et les redondances entre les têtes.
Multi-Head Attention Patterns
Visualisation simultanée des différents mécanismes d'attention dans une couche Transformer, montrant comment chaque tête capture des types distincts de relations syntaxiques ou sémantiques.
Self-Attention Matrix
Matrice carrée représentant les poids d'attention entre tous les paires de tokens d'une même séquence, où chaque élément (i,j) indique l'influence du token j sur le token i.
Cross-Attention Visualization
Représentation graphique des poids d'attention entre deux séquences différentes, typiquement utilisée dans les modèles encodeur-décodeur pour visualiser les alignements source-cible.
Attention Rollout
Méthode de propagation récursive des poids d'attention à travers les couches successives pour calculer l'influence cumulée d'un token sur les prédictions finales du modèle.
Attention Flow
Technique de visualisation montrant comment l'information circule à travers les couches Transformer en traçant les chemins d'influence attentionnelle entre les tokens.
Gradient-Based Attention
Approche utilisant les gradients de la sortie par rapport aux poids d'attention pour identifier les contributions les plus pertinentes à la prédiction du modèle.
Token-to-Token Attention
Visualisation directe des relations d'attention paires entre tokens, permettant d'identifier les dépendances locales et globales dans la séquence d'entrée.
Layer-wise Attention Analysis
Examen comparative des patterns d'attention à travers différentes profondeurs du réseau, révélant l'évolution des représentations abstraites des couches inférieures aux supérieures.
Attention Trajectory
Visualisation temporelle de l'évolution des poids d'attention pendant l'inférence ou l'entraînement, montrant comment les patterns se stabilisent ou changent dynamiquement.
Attention Saliency Maps
Cartes de chaleur superposées sur le texte d'entrée pour mettre en évidence les tokens recevant le plus d'attention, facilitant l'interprétation des décisions du modèle.
Attention Propagation
Technique traçant comment les signaux d'attention se propagent et s'amplifient à travers le réseau, révélant les chemins critiques pour la prise de décision.
Attention Projection
Réduction dimensionnelle des poids d'attention haute dimensionnelle vers des espaces 2D/3D visualisables, utilisant des techniques comme t-SNE ou UMAP pour identifier des clusters de patterns similaires.
Attention Clustering
Regroupement automatique des patterns d'attention similaires pour identifier des comportements récurrents ou des spécialisations fonctionnelles dans les mécanismes d'attention.
Attention Pattern Classification
Catégorisation automatique des types de patterns d'attention (syntaxiques, sémantiques, positionnels) basée sur leurs caractéristiques structurelles et distributionnelles.