Multi-Head Attention

Linearized Attention

Famille de mécanismes d'attention qui réécrivent le calcul de l'attention pour éviter la matérialisation de la matrice d'attention complète, permettant une complexité linéaire par rapport à la longueur de la séquence.

← Retour