Positional Encoding

Sinusoidal Positional Encoding

Méthode d'encodage positionnel utilisant des fonctions sinus et cosinus de différentes fréquences pour créer des représentations de position uniques, permettant au modèle d'extrapoler à des longueurs de séquence plus longues jamais vues lors de l'entraînement.

← Tillbaka