AI 词汇表
人工智能完整词典
Token Alignment
Processus par lequel le cross-attention apprend à aligner automatiquement les tokens ou segments significatifs entre deux séquences de longueurs ou structures différentes. Crucial pour les tâches de traduction où les correspondances ne sont pas bijectives.
Sparse Cross-Attention
Optimisation du cross-attention limitant les connexions attentionnelles à des sous-ensembles prédéfinis ou appris de positions pertinentes. Réduit la complexité computationnelle de O(n²) à O(n log n) ou O(n) pour les séquences longues.
Cross-Attention with Relative Position
Extension du cross-attention intégrant des informations de position relative entre les éléments des deux séquences plutôt que des positions absolues. Améliore la généralisation à des longueurs de séquences non vues pendant l'entraînement.
Adaptive Cross-Attention
Mécanisme d'attention dynamiquement ajustant sa focalisation basée sur le contexte ou l'état interne du modèle. Permet une allocation flexible des ressources attentionnelles selon la complexité ou l'importance des régions inter-séquences.
Cross-Attention Pooling
Technique d'agrégation utilisant le cross-attention pour pondérer et combiner sélectivement des caractéristiques d'une séquence cible basées sur une séquence de requêtes. Génère des représentations globales contextuellement informées pour la classification ou la régression.
Bilateral Cross-Attention
Architecture symétrique appliquant le cross-attention dans les deux directions entre deux séquences, permettant une interaction bidirectionnelle complète. Utilisée dans les tâches nécessitant un alignement mutuel comme le paraphrasage ou la correspondance sémantique.
Cross-Attention Regularization
Techniques de contrainte appliquées aux poids d'attention cross-attention pour encourager des propriétés désirables comme la sparsité, la diversité ou la cohérence temporelle. Améliore l'interprétabilité et la généralisation du modèle.
Memory-Augmented Cross-Attention
Extension du cross-attention intégrant une mémoire externe ou persistante accessible via des mécanismes d'attention. Permet de stocker et récupérer des informations au-delà de la fenêtre contextuelle immédiate pour des tâches de longue portée.