Positional Encoding

Learned Positional Embeddings

Approche où les vecteurs de position sont des paramètres appris durant l'entraînement, contrairement aux fonctions sinusoidales fixes.

← Retour