AI Glossary
The complete dictionary of Artificial Intelligence
Stacking
Technique d'ensemble qui combine les prédictions de plusieurs modèles de base via un méta-modèle appris sur les prédictions des modèles primaires. Cette méthode permet de capturer des patterns complexes que les modèles individuels ne peuvent détecter seuls.
Blending
Variante du stacking où les prédictions des modèles de base sont combinées en utilisant un ensemble de validation hold-out plutôt qu'une validation croisée. Le blending est plus simple à implémenter mais peut être moins robuste que le stacking classique.
Méta-modèle
Modèle de niveau supérieur dans le stacking qui apprend à combiner les prédictions des modèles de base pour produire la prédiction finale. Le méta-modèle identifie les poids optimaux à attribuer à chaque prédiction des modèles sous-jacents.
Modèles de base
Ensemble de modèles primaires (niveau 0) qui génèrent des prédictions indépendantes sur les mêmes données d'entrée. Ces modèles peuvent être de natures différentes (arbres, SVM, réseaux de neurones) pour maximiser la diversité des prédictions.
Out-of-fold predictions
Prédictions générées par un modèle sur les données de validation pliée lors de la validation croisée K-fold, essentielles pour éviter le data leakage dans le stacking. Ces prédictions servent de features d'entraînement pour le méta-modèle.
Stacked Generalization
Terme formel désignant le stacking, une méthode d'apprentissage automatique qui combine plusieurs classificateurs ou régresseurs pour améliorer la précision prédictive. Elle utilise une approche hiérarchique où les prédictions de niveau 0 deviennent les entrées de niveau 1.
Level-0 Models
Première couche de modèles dans l'architecture de stacking qui génèrent des prédictions brutes sur les données originales. Ces modèles sont entraînés indépendamment et leur diversité est cruciale pour la performance globale.
Level-1 Model
Modèle méta-apprenant au sommet de l'architecture de stacking qui combine les prédictions des modèles de niveau 0. Il apprend les poids optimaux et les interactions entre les prédictions des modèles de base.
Weighted Averaging
Technique de combinaison simple où les prédictions de plusieurs modèles sont moyennées avec des poids optimisés pour maximiser la performance. Contrairement au stacking, les poids sont généralement fixes et déterminés heuristiquement.
Voting Classifier
Méthode d'ensemble qui combine les prédictions de plusieurs classificateurs par vote majoritaire (hard voting) ou moyennage des probabilités (soft voting). C'est une approche plus simple que le stacking mais efficace pour combiner des modèles divers.
Super Learner
Implémentation optimisée du stacking qui garantit théoriquement une performance égale ou supérieure à n'importe quel modèle de base individuel. Cette approche utilise la validation croisée pour générer des prédictions sans biais pour le méta-modèle.
Hold-out Set
Sous-ensemble des données d'entraînement conservé séparément pour évaluer les performances des modèles de base dans le blending. Cet ensemble sert à générer les features pour le méta-modèle sans risque de surapprentissage.
Ensemble Diversity
Principe fondamental stipulant que les modèles de base doivent être suffisamment différents dans leurs erreurs pour que l'ensemble soit efficace. La diversité garantit que les modèles se complètent plutôt que de répéter les mêmes erreurs.
Multi-level Stacking
Extension du stacking avec plusieurs couches de méta-modèles où chaque niveau combine les prédictions du niveau précédent. Cette architecture hiérarchique peut capturer des patterns de plus en plus complexes mais augmente le risque de surapprentissage.
Feature Engineering for Stacking
Processus de création de features additionnelles pour le méta-modèle incluant les prédictions des modèles de base, leurs statistiques et interactions. Ces engineered features peuvent significativement améliorer la capacité du méta-modèle à identifier des patterns complexes.