Glosario IA
El diccionario completo de la Inteligencia Artificial
Atención Bidireccional
Tipo de atención donde cada posición puede atender a todas las demás posiciones de la secuencia sin restricción, permitiendo capturar dependencias contextuales completas en ambas direcciones.
Conexiones Residuales
Conexiones de atajo que agregan la entrada de una capa a su salida, permitiendo un entrenamiento más profundo al facilitar el flujo de gradientes y preservar la información a través de las múltiples capas del Transformer.
Cabezas de Atención
Subespacios paralelos independientes en la atención de múltiples cabezas donde cada cabeza aprende diferentes patrones de atención, permitiendo al modelo capturar simultáneamente diversos tipos de relaciones sintácticas y semánticas.
Atención Cruzada Modal
Extensión de la atención cruzada donde las consultas, claves y valores provienen de modalidades diferentes (texto, imagen, audio), permitiendo a los modelos multimodales alinear y fusionar información entre diferentes representaciones sensoriales.
Mapa de Calor de Atención
Visualización de los pesos de atención en forma de mapa de calor mostrando cómo el modelo distribuye su atención entre diferentes partes de la entrada, herramienta esencial para la interpretabilidad de los modelos Transformer.