Encodage Positionnel

Encodage Positionnel Rotationnel (RoPE)

Technique qui intègre l'information positionnelle en faisant tourner les vecteurs d'embedding dans l'espace, préservant les relations géométriques entre les tokens.

← Wstecz