AI Glossary
The complete dictionary of Artificial Intelligence
Bagging
Technique d'ensemble créant plusieurs modèles sur des échantillons bootstrap du dataset original et agrégeant leurs prédictions par vote majoritaire ou moyenne.
Boosting
Méthode séquentielle où chaque modèle apprend des erreurs du précédent, en pondérant davantage les exemples mal classés pour améliorer progressivement les performances.
Stacking
Approche combinant les prédictions de plusieurs modèles de base via un méta-modèle apprenant à optimiser leurs poids pour de meilleures prédictions finales.
Random Forest
Ensemble d'arbres de décision utilisant bagging avec sélection aléatoire de features à chaque split, réduisant la variance et évitant le surapprentissage.
Gradient Boosting
Algorithme de boosting construisant séquentiellement des modèles apprenant à corriger les résidus du modèle précédent via descente de gradient.
AdaBoost
Adaptive Boosting ajustant les poids des exemples d'entraînement et des classifieurs faibles pour se concentrer sur les cas difficiles à classifier.
XGBoost
Implémentation optimisée de gradient boosting avec régularisation L1/L2, traitement parallèle et gestion efficace des valeurs manquantes.
LightGBM
Framework de gradient boosting utilisant leaf-wise growth et histogram-based algorithms pour un entraînement rapide et efficace sur grands datasets.
CatBoost
Algorithme de gradient boosting spécialisé dans le traitement automatique des variables catégorielles sans encodage préalable.
Voting Classifiers
Méthode d'ensemble combinant les prédictions de plusieurs classifieurs par vote majoritaire (hard voting) ou probabilités moyennes (soft voting).
Extra Trees
Extremely Randomized Trees utilisant coupes aléatoires complètes pour chaque split sans bootstrap, augmentant la diversité et réduisant le biais.
Blending
Variante du stacking utilisant un hold-out validation set pour entraîner le méta-modèle plutôt que cross-validation, plus simple mais moins robuste.
Dynamic Ensemble Selection
Méthodes sélectionnant dynamiquement un sous-ensemble de modèles compétents pour chaque nouvelle instance à prédire, optimisant les performances locales.
Ensemble Diversity
Techniques mesurant et maximisant la diversité entre modèles de base pour améliorer la robustesse de l'ensemble et réduire les erreurs corrélées.
Hybrid Ensemble Methods
Combinaison de différentes techniques d'ensemble (bagging + boosting) ou intégration d'autres paradigmes comme les réseaux de neurones.