Glosario IA
El diccionario completo de la Inteligencia Artificial
Gradient Boosting
Técnica de aprendizaje conjunto que construye modelos predictivos de manera secuencial, donde cada nuevo modelo corrige los errores de los modelos anteriores optimizando una función de pérdida mediante descenso de gradiente.
Aprendizaje por Aditividad
Principio fundamental del Gradient Boosting donde el modelo final es la suma ponderada de predicciones de múltiples aprendices débiles, cada uno añadido para mejorar el rendimiento general.
Tasa de Aprendizaje (Learning Rate)
Hiperparámetro que controla la influencia de cada aprendiz débil en el modelo final, actuando como un factor de ponderación para evitar el sobreajuste.
Residuos
Errores de predicción del modelo actual, calculados como la diferencia entre los valores observados y las predicciones, sobre los cuales se entrena el siguiente aprendiz débil en Gradient Boosting.
Número de Estimadores
Hiperparámetro que define el número de aprendices débiles (iteraciones) a construir en el modelo de Gradient Boosting, influyendo directamente en la complejidad y el rendimiento.
XGBoost (Extreme Gradient Boosting)
Implementación optimizada y paralelizada del Gradient Boosting que integra la regularización, el tratamiento de valores faltantes y técnicas de poda de árboles para una eficiencia superior.
LightGBM
Framework de Gradient Boosting que utiliza una técnica de crecimiento de árboles por hojas (leaf-wise) en lugar de por nivel (level-wise), ofreciendo mayor velocidad de entrenamiento y menor consumo de memoria.
CatBoost
Algoritmo de Gradient Boosting especializado en el tratamiento eficiente de variables categóricas, utilizando técnicas de codificación ordenada y esquemas de boosting asimétricos.
Potenciación del Gradiente Estocástico
Variante del Gradient Boosting donde cada aprendiz débil se entrena en un subconjunto aleatorio de los datos de entrenamiento, reduciendo la correlación entre los árboles y mejorando la generalización.
Submuestreo de Características
Técnica de regularización en el Gradient Boosting que consiste en considerar solo un subconjunto aleatorio de las variables predictoras para cada división de nodo de árbol, limitando el sobreajuste.
Profundidad Máxima del Árbol
Hiperparámetro que controla la complejidad de cada aprendiz débil limitando el número de divisiones de decisión, equilibrando el sesgo y la varianza en los modelos de Gradient Boosting.
Pseudorresiduos
Generalización de los residuos en el Gradient Boosting, representando el gradiente negativo de la función de pérdida con respecto a las predicciones actuales, permitiendo la optimización para diversas funciones de pérdida.
Potenciación de Regresión
Aplicación del Gradient Boosting a problemas de regresión donde el objetivo es predecir valores continuos, utilizando típicamente una función de pérdida cuadrática o absoluta.
Potenciación de Clasificación
Aplicación del Gradient Boosting a problemas de clasificación, utilizando funciones de pérdida específicas como log-loss (entropía cruzada) para guiar la optimización de las probabilidades de clase.
Regularización L1/L2
Técnicas de penalización añadidas a la función de pérdida en el Gradient Boosting para controlar la complejidad de los pesos de las hojas de los árboles, reduciendo el sobreajuste y mejorando la robustez.