Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Apprentissage faible
Classifieur dont la performance est légèrement supérieure au hasard (généralement > 50% de précision), utilisé comme élément de base dans les algorithmes de boosting.
Pondération adaptative
Mécanisme qui ajuste les poids des observations d'entraînement à chaque itération pour donner plus d'importance aux exemples difficiles à classifier.
Taux d'apprentissage
Paramètre qui contrôle la contribution de chaque classifieur faible au modèle final, permettant de réguler la vitesse de convergence et d'éviter le surapprentissage.
Erreur de classification pondérée
Mesure de performance qui prend en compte les poids des observations pour évaluer la performance d'un classifieur faible dans AdaBoost.
Stumps de décision
Arbres de décision à un seul nœud et deux feuilles, souvent utilisés comme classifieurs faibles dans AdaBoost pour leur simplicité et efficacité.
Marge de classification
Mesure de confiance d'une prédiction représentant la différence entre le score de la classe correcte et le score maximal des autres classes.
Fonction de perte exponentielle
Fonction de coût utilisée dans AdaBoost qui pénalise exponentiellement les erreurs de classification, encourageant une correction agressive des exemples mal classés.
Algorithme SAMME
Stage-wise Additive Modeling using a Multi-class Exponential loss function, extension d'AdaBoost pour les problèmes de classification multi-classe.
Observations difficiles
Exemples d'entraînement qui sont systématiquement mal classés par les modèles précédents et reçoivent donc un poids accru dans les itérations suivantes.
Séquentialité
Caractéristique fondamentale du boosting où chaque classifieur dépend des précédents, contrairement aux méthodes parallèles comme le bagging.
Alpha de pondération
Coefficient calculé pour chaque classifieur faible basé sur son erreur de classification, déterminant son poids dans le vote final du modèle.
Frontière de décision complexe
Résultat de l'assemblage de classifieurs simples qui permet de modéliser des relations non-linéaires complexes dans les données.
Normalisation des poids
Processus qui ajuste les poids des observations après chaque itération pour qu'ils somment à 1, assurant une distribution de probabilité valide.
Robustesse au bruit
Capacité d'AdaBoost à gérer les données bruitées, bien qu'il puisse être sensible aux outliers en leur accordant trop de poids.
Convergence rapide
Propriété d'AdaBoost qui atteint souvent de bonnes performances avec relativement peu d'itérations grâce à l'optimisation directe de la perte exponentielle.