Codificación Posicional

Codificación Posicional Rotatoria (RoPE)

Técnica innovadora que aplica una rotación matricial a los embeddings de consulta y clave, integrando eficazmente la información de posición directamente en el mecanismo de atención.

← Volver