AI-woordenlijst
Het complete woordenboek van kunstmatige intelligentie
Exclusive Feature Bundling (EFB)
Optimisation unique à LightGBM qui regroupe les caractéristiques mutuellement exclusives pour réduire la dimensionnalité et accélérer l'entraînement sans perte d'information.
Gradient-based One-Side Sampling (GOSS)
Méthode d'échantillonnage qui conserve toutes les instances avec grands gradients et échantillonne aléatoirement celles avec petits gradients, accélérant l'entraînement tout en maintenant la précision.
Max leaves
Paramètre contrôlant le nombre maximum de feuilles dans chaque arbre, influençant directement la complexité du modèle et le risque de surapprentissage dans LightGBM.
Learning rate shrinkage
Taux d'apprentissage utilisé pour pondérer la contribution de chaque arbre dans le modèle final, contrôlant la vitesse de convergence et la régularisation du gradient boosting.
Bagging fraction
Proportion d'échantillons d'entraînement utilisés pour construire chaque arbre, implémentant une forme de bagging pour réduire le surapprentissage dans LightGBM.
Feature fraction
Pourcentage de caractéristiques aléatoirement sélectionnées pour chaque itération d'entraînement, introduisant de la stochasticité pour améliorer la généralisation du modèle.
Categorical feature handling
Capacité native de LightGBM à traiter efficacement les variables catégorielles sans encodage préalable, utilisant des algorithmes optimisés pour trouver les meilleurs points de division.
Regularization parameters
Paramètres comme lambda_l1 et lambda_l2 contrôlant la pénalisation L1 et L2 sur les poids des feuilles pour prévenir le surapprentissage dans les modèles LightGBM.
Tree construction parallelism
Capacité de LightGBM à paralléliser la construction des arbres au niveau des caractéristiques (feature parallel) ou des données (data parallel) pour accélérer l'entraînement.
Leaf-wise bias correction
Technique de correction du biais inhérent à la croissance leaf-wise qui tend à favoriser les arbres déséquilibrés, ajustant les prédictions finales pour maintenir l'impartialité.
Gradient statistics
Statistiques de gradient et de hessien accumulées dans chaque nœud pour évaluer la qualité des divisions potentielles selon la théorie du gradient boosting.
Prediction speed
Avantage de LightGBM offrant des prédictions extrêmement rapides grâce à la structure leaf-wise compacte des arbres et aux optimisations d'inférence implémentées.