Glosario IA
El diccionario completo de la Inteligencia Artificial
SAINT
Arquitectura de red neuronal de tipo Transformer diseñada específicamente para datos tabulares, integrando mecanismos de atención intra-muestra e inter-muestra para capturar dependencias complejas.
Atención Intra-Muestra
Mecanismo de atención que calcula las relaciones entre las diferentes características (features) dentro de una misma muestra de datos tabulares, permitiendo modelar las interacciones intrínsecas de las variables.
Atención Inter-Muestra
Mecanismo de atención que evalúa las relaciones y similitudes entre diferentes muestras (filas) de un conjunto de datos tabulares, facilitando el aprendizaje de patrones globales y la regularización del modelo.
Transformer Tabular
Adaptación de la arquitectura Transformer para el procesamiento de datos tabulares, reemplazando generalmente los tokens de texto por las características de las columnas y utilizando codificaciones específicas para los tipos de datos.
Codificación Posicional Tabular
Técnica de incorporación de información sobre la posición o importancia relativa de las características en una muestra tabular, esencial para que los mecanismos de atención diferencien las columnas.
Regularización por Atención
Uso de pesos de atención inter-muestra como forma de regularización, donde el modelo aprende a suavizar las predicciones basándose en muestras similares del conjunto de entrenamiento.
Proyección de Consulta, Clave, Valor
Operaciones de transformación lineal aplicadas a los embeddings de características para generar los tensores de Consulta (Query), Clave (Key) y Valor (Value) utilizados en el cálculo del puntaje de atención.
Puntaje de Atención Tabular
Medida de la importancia o relevancia de una característica con respecto a otra, calculada como el producto escalar entre los vectores Consulta y Clave, seguido de una función softmax.
Agregación por Atención
Proceso de combinación ponderada de información de múltiples características o muestras, donde los pesos son determinados por los puntajes de atención, para producir una representación contextual enriquecida.
Normalización de Capa Transformer
Técnica de normalización aplicada a la salida de cada subcapa (atención o red feed-forward) en un Transformer, estabilizando el entrenamiento y mejorando la convergencia del modelo.
Red Feed-Forward Posicional
Módulo completamente conectado aplicado independientemente a cada representación de característica, permitiendo que el modelo aprenda transformaciones no lineales complejas después del mecanismo de atención.
Codificación Categórica Aprendida
Método donde las variables categóricas son convertidas en vectores de embedding cuyos valores son optimizados durante el entrenamiento, a diferencia de los enfoques estáticos como el one-hot encoding.
Interacción de Características de Orden Superior
Capacidad del modelo SAINT para capturar automáticamente relaciones complejas y no lineales entre más de dos características, sin necesidad de ingeniería de características manual.
Separabilidad Lineal de Datos Tabulares
Hipótesis a menudo inválida para datos tabulares complejos, justificando el uso de modelos no lineales como SAINT que pueden aprender fronteras de decisión más flexibles.
Ruido Estructural en Datos Tabulares
Presencia de valores atípicos o inconsistencias inherentes en conjuntos de datos tabulares, que los mecanismos de atención de SAINT pueden mitigar al centrarse en las características más relevantes.