Positional Encoding

ALiBi (Attention with Linear Biases)

Méthode alternative à l'encodage positionnel traditionnel qui ajoute des biais linéaires aux scores d'attention en fonction de la distance entre les positions, permettant une meilleure extrapolation à des séquences plus longues.

← Zurück