Positional Encoding

Rotary Positional Encoding (RoPE)

Technique innovante qui applique une rotation matricielle aux embeddings de requête et clé, intégrant efficacement les informations de position directement dans le mécanisme d'attention.

← Retour