Codificação Posicional

Codificação Posicional Rotativa (RoPE)

Técnica inovadora que aplica uma rotação matricial aos embeddings de consulta e chave, integrando efetivamente as informações de posição diretamente no mecanismo de atenção.

← Voltar