Glosario IA
El diccionario completo de la Inteligencia Artificial
Codificador-Decodificador
Arquitectura bidireccional donde el codificador procesa la secuencia de entrada y el decodificador genera la secuencia de salida. Esta estructura permite tareas de transformación como la traducción automática o el resumen de texto.
Atención Enmascarada
Mecanismo de atención donde ciertas posiciones están enmascaradas para impedir que el modelo acceda a información futura. Esencial en los decodificadores para garantizar la generación autorregresiva durante la inferencia.
Feed-Forward por Posición
Red neuronal aplicada de manera idéntica e independiente a cada posición de la secuencia. Transforma las representaciones después del mecanismo de atención introduciendo no linealidad.
Peso de Atención
Puntuaciones normalizadas por softmax que determinan la importancia relativa de cada elemento durante el cálculo de la atención. Estos pesos se utilizan para ponderar la combinación lineal de los valores.
Capa de Dropout
Técnica de regularización que desactiva aleatoriamente neuronas durante el entrenamiento para prevenir el sobreajuste. Se aplica después de las capas de atención y feed-forward en los Transformers.