AI Glossary
The complete dictionary of Artificial Intelligence
XGBoost
Implémentation optimisée de gradient boosting utilisant des techniques de régularisation avancées, le traitement parallèle et l'optimisation de la mémoire pour améliorer la performance et la vitesse d'entraînement.
AdaBoost
Méthode de boosting adaptatif qui ajuste dynamiquement les poids des observations d'entraînement, se concentrant sur les exemples difficiles à travers des itérations successives de weak learners.
Weak Learner
Modèle prédictif simple (généralement un arbre de décision peu profond) dont la performance est légèrement supérieure au hasard, utilisé comme brique de base dans les méthodes de boosting.
Loss Function
Fonction mathématique qui quantifie l'erreur entre les prédictions du modèle et les valeurs réelles, guidant l'optimisation itérative dans les algorithmes de gradient boosting.
Gradient Descent
Algorithme d'optimisation itératif qui ajuste les paramètres du modèle dans la direction opposée au gradient de la fonction de perte pour minimiser l'erreur globale.
Residual Learning
Technique où chaque modèle successif apprend à prédire les résidus (erreurs) du modèle précédent, permettant une approximation progressive et précise de la fonction cible.
Subsampling
Technique d'échantillonnage aléatoire des données d'entraînement pour chaque itération, introduisant de la stochasticité et réduisant la corrélation entre les arbres pour une meilleure généralisation.
Regularization
Ensemble de techniques (L1, L2, élagage) qui pénalisent la complexité du modèle pour contrôler le surapprentissage et améliorer la capacité de généralisation.
Tree Pruning
Processus d'élagage des branches d'arbre de décision après leur construction complète, éliminant les subdivisions non informatives pour réduire la complexité et améliorer la généralisation.
Histogram-based Algorithm
Optimisation qui discrétise les caractéristiques continues en histogrammes avant la construction des arbres, accélérant considérablement la recherche des meilleurs points de division.
Leaf-wise Growth
Stratégie de construction d'arbres qui divise la feuille présentant la plus grande réduction de perte, plutôt que de développer toutes les feuilles à la même profondeur.