Glosario IA
El diccionario completo de la Inteligencia Artificial
Atención Enmascarada
Variante de la autoatención utilizada en el decodificador para evitar que cada posición preste atención a las posiciones siguientes, garantizando una generación autorregresiva y previniendo fugas de información.
Codificador-Decodificador Bidireccional
Arquitectura en la cual el codificador procesa la secuencia de entrada en ambas direcciones (contexto izquierdo y derecho) para crear una representación completa, mientras que el decodificador genera la salida de manera autorregresiva.
Incrustación de Tokens
Representación vectorial densa de cada token de entrada, aprendida durante el entrenamiento, que captura información semántica y sintáctica y sirve como punto de partida para las capas de atención.
Tasa de Aprendizaje Cosenoidal
Estrategia de programación de la tasa de aprendizaje que disminuye según una función coseno, con una fase inicial de calentamiento, mostrando mejores resultados de convergencia en modelos Transformer.
Mecanismo Clave-Valor-Petición
Abstracción fundamental del mecanismo de atención donde cada token se proyecta en tres vectores: la petición (lo que busco), la clave (lo que tengo) y el valor (lo que devuelvo), para calcular los pesos de atención.