Codificación Posicional

Codificación Posicional Rotativa

Técnica RoPE que aplica una rotación matricial a los embeddings de consultas y claves basándose en sus posiciones absolutas, integrando naturalmente la información de posición en el cálculo de atención mientras preserva las propiedades de invariancia traslacional.

← Volver