Glosario IA
El diccionario completo de la Inteligencia Artificial
Exclusive Feature Bundling (EFB)
Optimisation unique à LightGBM qui regroupe les caractéristiques mutuellement exclusives pour réduire la dimensionnalité et accélérer l'entraînement sans perte d'information.
Gradient-based One-Side Sampling (GOSS)
Méthode d'échantillonnage qui conserve toutes les instances avec grands gradients et échantillonne aléatoirement celles avec petits gradients, accélérant l'entraînement tout en maintenant la précision.
Max leaves
Paramètre contrôlant le nombre maximum de feuilles dans chaque arbre, influençant directement la complexité du modèle et le risque de surapprentissage dans LightGBM.
Learning rate shrinkage
Taux d'apprentissage utilisé pour pondérer la contribution de chaque arbre dans le modèle final, contrôlant la vitesse de convergence et la régularisation du gradient boosting.
Bagging fraction
Proportion d'échantillons d'entraînement utilisés pour construire chaque arbre, implémentant une forme de bagging pour réduire le surapprentissage dans LightGBM.
Feature fraction
Pourcentage de caractéristiques aléatoirement sélectionnées pour chaque itération d'entraînement, introduisant de la stochasticité pour améliorer la généralisation du modèle.
Categorical feature handling
Capacité native de LightGBM à traiter efficacement les variables catégorielles sans encodage préalable, utilisant des algorithmes optimisés pour trouver les meilleurs points de division.
Regularization parameters
Paramètres comme lambda_l1 et lambda_l2 contrôlant la pénalisation L1 et L2 sur les poids des feuilles pour prévenir le surapprentissage dans les modèles LightGBM.
Paralelismo en la construcción de árboles
Capacidad de LightGBM para paralelizar la construcción de árboles a nivel de características (feature parallel) o de datos (data parallel) con el fin de acelerar el entrenamiento.
Corrección de sesgo Leaf-wise
Técnica de corrección del sesgo inherente al crecimiento leaf-wise que tiende a favorecer árboles desequilibrados, ajustando las predicciones finales para mantener imparcialidad.
Estadísticas del gradiente
Estadísticas acumuladas de gradiente y hessiano en cada nodo para evaluar la calidad de posibles divisiones según la teoría del gradient boosting.
Velocidad de predicción
Ventaja de LightGBM que ofrece predicciones extremadamente rápidas gracias a la estructura compacta tipo leaf-wise de los árboles y a las optimizaciones implementadas en la inferencia.