Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Query-Key-Value (QKV)
Triple de vecteurs fondamentaux dans l'attention où Query recherche des informations, Key identifie les informations disponibles, et Value contient les informations à extraire.
Poids d'Attention
Coefficients normalisés indiquant l'importance relative de chaque élément d'entrée, généralement obtenus après application de softmax aux scores d'attention.
Encodage Positionnel
Informations ajoutées aux embeddings pour indiquer la position des tokens dans une séquence, compensant l'absence de récurrence dans les transformers.
Attention Causale
Type d'attention masquée où chaque position ne peut s'attarder que sur les positions précédentes, utilisée principalement dans les tâches de génération de texte.
Score d'Attention
Valeur brute calculée entre une requête et une clé avant normalisation, quantifiant la pertinence ou la compatibilité entre ces deux éléments.
Normalisation Softmax
Fonction d'activation appliquée aux scores d'attention pour les convertir en distribution de probabilités, garantissant que la somme des poids égale 1.
Tête d'Attention
Sous-mécanisme individuel dans l'attention multi-tête, chaque tête apprenant à se concentrer sur différents aspects ou relations dans les données.
Matrice d'Attention
Représentation bidimensionnelle des poids d'attention montrant comment chaque élément d'entrée fait attention à tous les autres éléments de la séquence.
Attention à Noyau
Approche utilisant des fonctions noyau pour calculer les poids d'attention, permettant des relations non-linéaires plus complexes entre les éléments.
Attention Éparse
Optimisation réduisant le nombre de connexions d'attention calculées en ne considérant que les paires les plus pertinentes, améliorant l'efficacité computationnelle.