Positional Encoding

Fixed Positional Encoding

Type d'encodage positionnel où les embeddings sont prédéterminés et ne sont pas modifiés pendant l'entraînement, basé sur des formules mathématiques fixes comme les fonctions sinusoïdales.

← Tillbaka