Glosario IA
El diccionario completo de la Inteligencia Artificial
Factor de Escala
Término √dk que divide el producto escalar en la atención escalada para controlar la varianza de los gradientes y prevenir la explosión/vanishing durante el entrenamiento.
Similitud de Producto Escalar
Medida de similitud de coseno no normalizada calculada como producto escalar entre vectores, sirviendo como base para el cálculo de los puntajes de atención.
Proyección de Valor
Transformación lineal aplicada al embedding de entrada para generar la matriz Value utilizada en el cálculo de la salida ponderada.
Proyección de Clave
Transformación lineal que crea la matriz Key a partir de los embeddings de entrada, sirviendo como índices para la búsqueda de atención.
Proyección de Consulta
Transformación lineal que genera la matriz Query representando lo que cada posición busca encontrar en la secuencia.