AI 词汇表
人工智能完整词典
Scores d'Attention
Valeurs numériques calculées par produit scalaire ou fonction additive entre les vecteurs query et key, servant à déterminer l'importance relative de chaque élément source. Transformés en poids par softmax pour obtenir une distribution de probabilité.
Multi-tête Attention Croisée
Extension de l'attention croisée utilisant plusieurs têtes d'attention en parallèle, chaque tête apprenant différentes représentations de l'alignement entre séquences. Permet au modèle de capturer divers types de relations et dépendances.
Self-Attention vs Cross-Attention
Distinction entre self-attention (attention intra-séquence où query, key et value proviennent de la même séquence) et cross-attention (attention inter-séquences). La cross-attention est cruciale pour l'interaction encodeur-décodeur dans les modèles Transformer.
Alignment Score
Score quantifiant le degré d'alignement entre une position spécifique de la séquence cible et une position de la séquence source dans l'attention croisée. Détermine quelles parties de l'entrée sont les plus pertinentes pour chaque étape de génération.
Encoder States
Représentations vectorielles produites par l'encodeur à chaque position de la séquence d'entrée, servant de keys et values dans le mécanisme d'attention croisée. Contiennent l'information sémantique et contextuelle de l'entrée.
Decoder Hidden State
État caché du décodeur à chaque étape de génération, utilisé comme query dans le mécanisme d'attention croisée pour déterminer sur quelles parties de l'entrée se concentrer. Évolue dynamiquement lors de la génération.
Cross-Layer Attention
Variante d'attention croisée où l'attention s'effectue entre différentes couches du modèle plutôt qu'entre encodeur et décodeur. Permet un transfert d'information hiérarchique entre niveaux de représentation.
Adaptive Attention
Mécanisme d'attention croisée adaptatif qui modifie dynamiquement sa stratégie d'attention en fonction du contexte et de la difficulté de la tâche. Combine attention sur l'entrée et attention sur la génération précédente.