Positional Encoding

Alibi Positional Encoding

Méthode qui pénalise les scores d'attention en fonction de la distance entre les tokens, permettant une extrapolation efficace à des longueurs de séquence plus longues sans réentraînement.

← Retour