AI Glossary
The complete dictionary of Artificial Intelligence
Classical Decision Trees
Fundamental tree structures using decision rules to partition the feature space.
Random Forest
Ensemble method based on bagging combining multiple decision trees trained on random subsamples.
Gradient Boosting Machines
Technique ensembliste séquentielle construisant des apprenants faibles pour corriger les erreurs des modèles précédents.
XGBoost
Implémentation optimisée du gradient boosting avec régularisation et parallélisation pour performances maximales.
LightGBM
Gradient boosting framework using leaf-wise growth and histogram sampling for speed.
CatBoost
Gradient boosting algorithm specialized in the automatic processing of categorical variables.
AdaBoost
Adaptive boosting method that weights difficult examples to iteratively improve performance.
Bagging
Bootstrap Aggregating technique combinant plusieurs modèles entraînés sur différents échantillons bootstrap.
Extra Trees
Extremely Randomized Trees utilisant des seuils de division aléatoires pour réduire la variance et accélérer l'entraînement.
Stacking
Méthode ensembliste combinant les prédictions de multiples modèles via un méta-modèle apprenant à les pondérer.
Techniques d'Élagage
Méthodes de réduction de la complexité des arbres pour éviter le surapprentissage et améliorer la généralisation.
Arbres CART
Classification and Regression Trees utilisant l'indice de Gini pour la classification et l'erreur quadratique pour la régression.
Arbres ID3 et C4.5
Algorithmes historiques basés sur le gain d'information et le ratio de gain pour construire des arbres de décision.
Feature Importance dans les Arbres
Méthodes d'évaluation de l'importance des variables basées sur la réduction d'impureté ou la permutation.
Isolation Forest
Algorithme de détection d'anomalies utilisant des arbres aléatoires pour isoler efficacement les observations aberrantes.