Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Bagging
Technique d'ensemble créant multiples modèles sur des échantillons bootstrap pour réduire la variance
Boosting
Méthode séquentielle où chaque modèle corrige les erreurs du précédent pour réduire le biais
Stacking
Combinaison de modèles via un méta-modèle qui apprend à pondérer leurs prédictions
Random Forest
Ensemble d'arbres de décision utilisant bagging et sélection aléatoire de caractéristiques
Gradient Boosting
Boosting optimisant une fonction de perte par descente de gradient dans l'espace des fonctions
AdaBoost
Algorithme de boosting adaptatif pondérant les exemples selon les erreurs précédentes
XGBoost
Implémentation optimisée de gradient boosting avec régularisation et parallélisation
LightGBM
Gradient boosting utilisant growing leaf-wise et feature binning pour rapidité
CatBoost
Gradient boostant spécialisé dans le traitement automatique des variables catégorielles
Voting Classifiers
Agrégation de prédictions par vote majoritaire hard ou moyennage soft des probabilités
Blending
Technique similaire au stacking utilisant validation hold-out pour entraîner le méta-modèle
Dynamic Ensemble Selection
Sélection dynamique de sous-ensembles de modèles selon les caractéristiques de chaque instance
Ensemble Pruning
Réduction de la taille d'ensemble en sélectionnant les modèles les plus pertinents
Bayesian Model Averaging
Approche bayésienne combinant modèles selon leurs probabilités postérieures
Mixture of Experts
Architecture où des réseaux experts sont activés par un réseau de gating