Glosario IA
El diccionario completo de la Inteligencia Artificial
Stacking
Técnica de conjunto que combina las predicciones de varios modelos base a través de un meta-modelo aprendido sobre las predicciones de los modelos primarios. Este método permite capturar patrones complejos que los modelos individuales no pueden detectar por sí solos.
Blending
Variante del stacking donde las predicciones de los modelos base se combinan utilizando un conjunto de validación aparte en lugar de una validación cruzada. El blending es más sencillo de implementar pero puede ser menos robusto que el stacking clásico.
Meta-modelo
Modelo de nivel superior en el stacking que aprende a combinar las predicciones de los modelos base para producir la predicción final. El meta-modelo identifica los pesos óptimos que deben asignarse a cada predicción de los modelos subyacentes.
Modelos base
Conjunto de modelos primarios (nivel 0) que generan predicciones independientes sobre los mismos datos de entrada. Estos modelos pueden ser de diferente naturaleza (árboles, SVM, redes neuronales) para maximizar la diversidad de predicciones.
Out-of-fold predictions
Predicciones generadas por un modelo sobre los datos de validación plegados durante la validación cruzada K-fold, esenciales para evitar el data leakage en el stacking. Estas predicciones sirven como características de entrenamiento para el meta-modelo.
Stacked Generalization
Término formal que designa al stacking, un método de aprendizaje automático que combina múltiples clasificadores o regresores para mejorar la precisión predictiva. Utiliza un enfoque jerárquico donde las predicciones de nivel 0 se convierten en las entradas de nivel 1.
Level-0 Models
Primera capa de modelos en la arquitectura de stacking que generan predicciones crudas sobre los datos originales. Estos modelos son entrenados de manera independiente y su diversidad es crucial para el rendimiento general.
Level-1 Model
Modelo meta-aprendizaje en la cima de la arquitectura de stacking que combina las predicciones de los modelos de nivel 0. Aprende los pesos óptimos y las interacciones entre las predicciones de los modelos base.
Weighted Averaging
Técnica de combinación simple en la que las predicciones de varios modelos se promedian con pesos optimizados para maximizar el rendimiento. A diferencia del stacking, los pesos suelen ser fijos y determinados de manera heurística.
Voting Classifier
Método de conjunto que combina las predicciones de múltiples clasificadores mediante voto mayoritario (votación dura) o promedio de probabilidades (votación suave). Es un enfoque más simple que el stacking pero eficaz para combinar modelos diversos.
Super Learner
Implementación optimizada del stacking que teóricamente garantiza un rendimiento igual o superior al de cualquier modelo base individual. Este enfoque utiliza validación cruzada para generar predicciones imparciales para el meta-modelo.
Hold-out Set
Subconjunto separado de los datos de entrenamiento reservado para evaluar el rendimiento de los modelos base en el blending. Este conjunto se usa para generar características para el meta-modelo sin riesgo de sobreajuste.
Ensemble Diversity
Principio fundamental que establece que los modelos base deben diferir lo suficiente en sus errores para que el conjunto sea efectivo. La diversidad asegura que los modelos se complementen en lugar de repetir los mismos errores.
Multi-level Stacking
Extensión del stacking con varias capas de meta-modelos donde cada nivel combina las predicciones del nivel anterior. Esta arquitectura jerárquica puede capturar patrones cada vez más complejos, pero incrementa el riesgo de sobreajuste.
Feature Engineering for Stacking
Proceso de creación de características adicionales para el meta-modelo, incluyendo predicciones de los modelos base, sus estadísticas e interacciones. Estas características diseñadas pueden mejorar significativamente la capacidad del meta-modelo para identificar patrones complejos.