Multi-Head Attention

Rotary Position Embedding

Technique d'encodage positionnel appliquant une rotation complexe aux embeddings en fonction de leur position relative. Conserve les propriétés d'invariance absolue tout en encodant efficacement les relations positionnelles.

← Back