Positional Encoding

XLNet Relative Positional Encoding

Mécanisme sophistiqué dans XLNet qui modélise les distances relatives entre tokens dans le calcul d'attention, permettant une meilleure généralisation sur différentes longueurs de séquence.

← Retour