Transformers pour Longues Séquences

Axial Positional Encoding

Méthode d'encodage positionnel décomposant la position bidimensionnelle en encodages unidimensionnels pour les axes. Permet une meilleure généralisation sur des longueurs de séquence non vues pendant l'entraînement.

← Back