Positional Encoding

Fixed Positional Encoding

Type d'encodage positionnel où les représentations de position sont prédéterminées et ne changent pas pendant l'entraînement, typiquement basées sur des fonctions mathématiques comme les sinus/cosinus ou des transformations de Fourier.

← Retour