Glosario IA
El diccionario completo de la Inteligencia Artificial
Codificador Bidireccional
Componente que procesa la secuencia de entrada completa simultáneamente, permitiendo que cada token preste atención a todos los demás tokens, tanto pasados como futuros, para una comprensión contextual completa.
Decodificador Autoregresivo
Mecanismo de generación donde el decodificador produce la secuencia de salida token por token, basándose únicamente en los tokens previamente generados y en la representación contextual del codificador.
Mecanismo de Atención Cruzada
Proceso en el decodificador que le permite concentrarse en partes específicas de la salida del codificador, ponderando la importancia de cada token de entrada para generar el token de salida actual.
Enmascaramiento Causal
Técnica aplicada en el decodificador para evitar que cada posición preste atención a las posiciones futuras, garantizando así la naturaleza autoregresiva de la generación y la ausencia de fuga de información.
Red de Propagación Directa (Feed-Forward Network)
Red neuronal completamente conectada aplicada a cada posición de manera independiente después del mecanismo de atención, permitiendo una transformación no lineal y una proyección a mayor dimensión.
Normalización por Capa (Layer Normalization)
Técnica de regularización que estabiliza las activaciones normalizando las características para cada ejemplo individualmente, acelerando la convergencia y mejorando el rendimiento general del modelo.
Cuello de Botella del Codificador
Representación vectorial de dimensión fija, a menudo la salida final del codificador, que condensa toda la información de la secuencia de entrada y sirve como contexto único al decodificador para la generación.
Incrustaciones de Token (Embeddings)
Vectores densos de alta dimensión que representan cada token discreto del vocabulario en un espacio continuo, capturando información semántica y sintáctica aprendida durante el entrenamiento.