Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Attention Matrix
Matrice carrée représentant les poids d'attention entre toutes les paires d'éléments d'une séquence, visualisant les patterns d'interdépendance appris par le modèle.
Encoder-Decoder Attention
Mécanisme où le décodeur s'attende sur les sorties de l'encodeur, permettant la génération de séquences conditionnées par une séquence source dans les modèles seq2seq.
Masked Self-Attention
Self-attention avec masquage des positions futures pour éviter que les éléments ne voient des informations ultérieures, essentiel dans les tâches de génération de texte.
Softmax Normalization
Fonction d'activation transformant les scores d'attention en distribution de probabilités, garantissant que la somme des poids d'attention égale 1 pour chaque position.
Attention Head
Sous-composant du multi-head attention effectuant un calcul d'attention indépendant avec ses propres paramètres, capturant un type spécifique de relation séquentielle.
Attention Dropout
Régularisation appliquée aux poids d'attention pendant l'entraînement, désactivant aléatoirement certaines connexions pour prévenir le surapprentissage des patterns d'attention.
Multi-Scale Attention
Variante d'attention traitant simultanément des dépendances à différentes échelles temporelles ou spatiales, combinant des receptive fields variés pour une compréhension hiérarchique.