Positional Encoding

Rotary Positional Encoding

Technique RoPE qui applique une rotation matricielle aux embeddings de requêtes et clés basée sur leurs positions absolues, intégrant naturellement l'information de position dans le calcul d'attention tout en préservant les propriétés d'invariance translationnelle.

← Back