Positional Encoding

Position Embeddings

Vecteurs denses représentant la position de chaque token dans une séquence, généralement de même dimension que les embeddings de mots et additionnés à ces derniers avant d'être passés au mécanisme d'attention.

← Back