Positional Encoding

Alibi Positional Encoding

Méthode qui pénalise les scores d'attention basés sur la distance entre les tokens en ajoutant des biais statiques à la matrice d'attention, permettant une meilleure extrapolation à des séquences plus longues sans modifications architecturales complexes.

← Geri