BERT (Bidirectional Encoder Representations)

Positional Embeddings

Vecteurs ajoutés aux embeddings de tokens dans BERT pour encoder la position séquentielle, essentiels puisque l'attention seule ne capture pas l'ordre des tokens.

← Retour