Multi-Head Attention

Alibi Position Encoding

Méthode d'encodage positionnel ajoutant des biais linéaires aux scores d'attention en fonction de la distance entre tokens. Permet une meilleure extrapolation à des séquences plus longues sans réentraînement.

← Terug