Cross-Attention

Token Alignment

Processus par lequel le cross-attention apprend à aligner automatiquement les tokens ou segments significatifs entre deux séquences de longueurs ou structures différentes. Crucial pour les tâches de traduction où les correspondances ne sont pas bijectives.

← Retour