Glosario IA
El diccionario completo de la Inteligencia Artificial
AutoInt
Arquitectura de red neuronal profunda diseñada para modelar automáticamente las interacciones de características de alto orden en datos tabulares, utilizando un mecanismo de atención multi-cabezal.
Mecanismo de Atención Multi-Cabezal
Módulo que permite al modelo centrarse simultáneamente en diferentes posiciones de la secuencia de entrada, aprendiendo múltiples representaciones de atención en paralelo para capturar dependencias complejas.
Interacción de Características de Alto Orden
Combinación no lineal de tres o más variables de entrada, cuya captura es esencial para mejorar el poder predictivo de los modelos sobre datos estructurados complejos.
Incrustación de Características
Representación vectorial densa y de baja dimensión de características categóricas, permitiendo al modelo tratar estas variables como entradas continuas y aprender sus relaciones semánticas.
Red de Interacción
Subred dentro de AutoInt responsable del cálculo explícito de las interacciones entre los vectores de incrustación de características, antes de la aplicación del mecanismo de atención.
Valor de Atención
Puntuación ponderada calculada por el mecanismo de atención que cuantifica la importancia de una característica o interacción específica para la predicción final del modelo.
Pooling de Atención
Operación de agregación que utiliza los pesos de atención para combinar las representaciones de características, produciendo un vector de contexto que resalta la información más relevante.
Aprendizaje por Interacción Automática
Paradigma donde el modelo descubre y jerarquiza por sí mismo las interacciones de características relevantes sin necesidad de ingeniería manual o especificación a priori.
Vector de Consulta (Query Vector)
En el mecanismo de atención, vector que representa el estado actual del modelo y se utiliza para calcular el puntaje de compatibilidad con cada vector clave (key).
Vector Clave (Key Vector)
Representación de una característica o interacción candidata, utilizada para ser comparada con el vector de consulta para determinar su nivel de atención.
Vector de Valor (Value Vector)
Vector que contiene la información real de una característica, que es ponderada por el puntaje de atención y agregada para formar la salida del mecanismo de atención.
Producto Escalar Escalado
Función de similitud utilizada en la atención para calcular los puntajes, donde el producto escalar es dividido por la raíz cuadrada de la dimensión de los vectores para estabilizar el entrenamiento.
Residuo y Normalización de Capa
Técnica de arquitectura donde la salida de una capa es añadida a su entrada (conexión residual) y luego normalizada, facilitando el entrenamiento de redes profundas como AutoInt.
Interacción Cruzada (Cross Interaction)
Operación específica en AutoInt que calcula las interacciones entre pares de características utilizando una multiplicación elemento por elemento seguida de una transformación lineal.
Cabeza de Atención (Attention Head)
Uno de los múltiples mecanismos de atención funcionando en paralelo en un módulo multicabezal, cada uno aprendiendo a enfocarse en diferentes aspectos de las interacciones de características.
Agregación de Cabezas
Proceso de concatenación o promediado de las salidas de todas las cabezas de atención para formar una representación unificada antes de pasarla a la siguiente capa.
Modelado de Dependencias a Largo Alcance
Capacidad del mecanismo de atención para capturar relaciones entre características distantes en el espacio de embedding, superando las limitaciones de los modelos locales como las CNN.
Interpretabilidad mediante Mapa de Atención
Método para visualizar y comprender las decisiones del modelo analizando los pesos de atención, revelando qué interacciones de características fueron las más influyentes.