AI Glossary
The complete dictionary of Artificial Intelligence
Bootstrap Aggregating
Méthode statistique combinant le rééchantillonnage bootstrap et l'agrégation des prédictions de multiples modèles entraînés sur ces échantillons pour stabiliser les résultats.
Échantillonnage avec remise
Technique de création d'échantillons bootstrap où chaque observation peut être sélectionnée plusieurs fois, permettant une diversité maximale des sous-ensembles d'entraînement.
Out-of-Bag (OOB)
Échantillon d'observations non sélectionnées lors de la création d'un bootstrap spécifique, utilisé comme ensemble de validation interne pour évaluer la performance sans validation croisée externe.
Erreur OOB
Métrique d'évaluation calculée en agrégeant les prédictions sur les échantillons out-of-bag pour chaque observation, fournissant une estimation non biaisée de l'erreur de généralisation.
Agrégation par vote majoritaire
Méthode de combinaison des prédictions en classification où chaque modèle vote pour une classe et la classe majoritaire est sélectionnée comme prédiction finale.
Agrégation par moyenne
Technique de combinaison en régression où les prédictions numériques de tous les modèles sont moyennées pour produire une prédiction finale plus stable.
Parallélisation
Avantage computationnel du bagging permettant l'entraînement simultané des modèles sur différents processeurs ou machines car ils sont indépendants les uns des autres.
Sous-espaces aléatoires
Extension du bagging où chaque modèle n'utilise qu'un sous-ensemble aléatoire des caractéristiques, augmentant la diversité et réduisant la corrélation entre les prédictions.
Arbres de décision non élagués
Apprenants de base utilisés en bagging laissés à leur complexité maximale sans élagage, car l'agrégation compensera leur sur-apprentissage individuel.
Stabilité du modèle
Propriété améliorée par le bagging où les prédictions du modèle final varient moins face aux petites variations des données d'entraînement.
Forêt aléatoire extrême
Variante du random forest où les seuils de division des variables sont choisis aléatoirement au lieu d'être optimisés, augmentant la diversité au détriment du biais.
Corrélation des prédicteurs
Facteur clé dans l'efficacité du bagging, où une corrélation plus faible entre les prédictions des modèles de base conduit à une meilleure réduction de variance.
Taille de l'ensemble
Nombre de modèles dans le bagging, où un nombre plus élevé réduit la variance mais avec des rendements décroissants et un coût computationnel accru.
Bootstrap samples
Ensembles de données créés par échantillonnage avec remise de l'ensemble d'entraînement original, chacun contenant environ 63.2% des observations uniques.
Bagging boosting hybridation
Approches combinant les principes du bagging et du boosting pour exploiter simultanément la réduction de variance et la réduction du biais.
Variance empirique
Métrique mesurant la dispersion des prédictions des différents modèles de base avant agrégation, servant d'indicateur du gain potentiel du bagging.