Architecture Transformer

Positional Encoding Sinusoïdal

Méthode d'encodage positionnel utilisant des fonctions sinusoïdales de différentes fréquences, permettant au modèle d'extrapoler à des longueurs de séquence non vues.

← Retour