Glosario IA
El diccionario completo de la Inteligencia Artificial
Concatenación y Proyección Lineal
Etapa final de la atención multi-cabezal donde las salidas de todas las cabezas se concatenan y luego se proyectan linealmente para recuperar la dimensión del modelo, fusionando así la información de diferentes subespacios.
Atención Causal (Auto-atención Enmascarada)
Tipo de auto-atención utilizada en los decodificadores donde se aplica una atención enmascarada para evitar que un token preste atención a tokens futuros, garantizando la naturaleza auto-regresiva del modelo.
Dimensión de Cabeza (d_k)
Dimensión de los vectores de clave y valor en cada cabeza de atención, calculada dividiendo la dimensión del modelo por el número de cabezas, influyendo en la capacidad de representación de cada cabeza.
Atención Linealizada
Familia de mecanismos de atención que reescriben el cálculo de la atención para evitar la materialización de la matriz de atención completa, permitiendo una complejidad lineal con respecto a la longitud de la secuencia.