Triple de vectores proyectados desde la entrada de un mecanismo de atención, donde las claves y las consultas calculan los pesos de atención y los valores se agregan según estos pesos.

📖

términos

Mecanismo de atención que incorpora directamente las distancias relativas entre las posiciones en el cálculo de las puntuaciones de atención, ofreciendo una mejor generalización a longitudes de secuencia variables.

🔍

Glosario IA

Key-Query-Value (KQV)

Relative Positional Attention

No se encontraron resultados