Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Learning Rate (Taux d'apprentissage)
Hyperparamètre contrôlant la contribution de chaque estimateur au modèle final, permettant un compromis entre la vitesse de convergence et la précision du modèle.
Max Depth (Profondeur maximale)
Hyperparamètre définissant la profondeur maximale de chaque arbre de décision, contrôlant la complexité du modèle et le risque de surapprentissage.
Split Finding
Processus algorithmique pour trouver le meilleur point de division dans un nœud d'arbre, optimisé dans XGBoost via une structure de données appelée histogramme.
Tree Pruning (Élagage d'arbre)
Technique de post-élagage basée sur le score de gain, qui retire les branches d'arbre n'apportant pas de gain de perte positif pour simplifier le modèle.
Early Stopping (Arrêt précoce)
Technique de régularisation qui arrête l'entraînement lorsque la performance sur un jeu de validation cesse de s'améliorer, évitant le surapprentissage.
Gamma (min_split_loss)
Hyperparamètre de régularisation spécifiant la perte minimale requise pour effectuer une nouvelle division dans un nœud d'arbre, contrôlant la complexité.
Lambda (L2 regularization on weights)
Hyperparamètre de régularisation L2 appliqué aux poids des feuilles des arbres, réduisant leur amplitude pour prévenir le surapprentissage.
Alpha (L1 regularization on weights)
Hyperparamètre de régularisation L1 appliqué aux poids des feuilles des arbres, favorisant la parcimonie et pouvant mettre certains poids à zéro.
Scale-Pos-Weight
Hyperparamètre utilisé pour les problèmes de classification déséquilibrés, pondérant la classe positive par rapport à la classe négative.
Parallelization
Capacité de XGBoost à paralléliser la construction d'arbres sur plusieurs cœurs CPU, accélérant significativement le temps d'entraînement.
Cache-Aware Access
Optimisation algorithmique dans XGBoost qui organise les accès mémoire pour maximiser l'utilisation du cache processeur, améliorant les performances.