Encodage Positionnel

Encodage Alibi (Attention with Linear Biases)

Méthode d'encodage positionnel qui pénalise l'attention en fonction de la distance entre les tokens, permettant une meilleure extrapolation à des séquences plus longues.

← Wstecz