AI-ordlista
Den kompletta ordlistan över AI
Attention par Produits Scalaires
Mécanisme d'attention où la pertinence entre requête et clé est calculée par produit scalaire, suivi d'une normalisation par softmax et d'une pondération des valeurs.
Vecteur Requête
Représentation vectorielle encodant l'information de l'élément courant pour lequel on cherche les relations avec d'autres éléments.
Vecteur Clé
Vecteur caractéristique utilisé pour calculer la compatibilité avec une requête via produit scalaire dans le mécanisme d'attention.
Vecteur Valeur
Vecteur contenant l'information réelle qui sera pondérée par les poids d'attention pour générer la sortie contextuelle.
Facteur d'Échelle
Terme de normalisation (√dk) appliqué aux scores d'attention pour prévenir la saturation de softmax et améliorer la convergence.
Poids d'Attention
Coefficients normalisés par softmax indiquant l'importance relative de chaque élément pour la génération de la sortie.
Multi-Tête Attention
Extension du mécanisme d'attention utilisant plusieurs ensembles de matrices requête-clé-valeur pour capturer différents types de relations.
Contexte Attentionnel
Vecteur de sortie obtenu par la somme pondérée des valeurs utilisant les poids d'attention comme coefficients de pondération.
Matrices de Projection
Matrices de poids apprenables (Wq, Wk, Wv) transformant les embeddings en espaces requête, clé et valeur.