AI 词汇表
人工智能完整词典
Gradient Boosting
Technique d'apprentissage ensembliste qui construit des modèles prédictifs de manière séquentielle, où chaque nouveau modèle corrige les erreurs des modèles précédents en optimisant une fonction de perte via la descente de gradient.
Apprentissage par Additivité
Principe fondamental du Gradient Boosting où le modèle final est la somme pondérée de prédictions de multiples apprenants faibles, chacun ajouté pour améliorer la performance globale.
Taux d'Apprentissage (Learning Rate)
Hyperparamètre qui contrôle l'influence de chaque apprenant faible sur le modèle final, agissant comme un facteur de pondération pour éviter le surapprentissage.
Résidus
Erreurs de prédiction du modèle actuel, calculées comme la différence entre les valeurs observées et les prédictions, sur lesquelles le prochain apprenant faible est entraîné en Gradient Boosting.
Nombre d'Estimateurs
Hyperparamètre définissant le nombre d'apprenants faibles (itérations) à construire dans le modèle de Gradient Boosting, influençant directement la complexité et la performance.
XGBoost (Extreme Gradient Boosting)
Implémentation optimisée et parallélisée du Gradient Boosting qui intègre la régularisation, le traitement des valeurs manquantes et des techniques d'élagage d'arbres pour une efficacité supérieure.
LightGBM
Framework de Gradient Boosting qui utilise une technique de croissance d'arbres par feuilles (leaf-wise) plutôt que par niveau (level-wise), offrant une vitesse d'entraînement accrue et une consommation mémoire réduite.
CatBoost
Algorithme de Gradient Boosting spécialisé dans le traitement efficace des variables catégorielles, utilisant des techniques de codage ordonné et des schémas de boosting asymétriques.
Stochastic Gradient Boosting
Variante du Gradient Boosting où chaque apprenant faible est entraîné sur un sous-ensemble aléatoire des données d'entraînement, réduisant la corrélation entre les arbres et améliorant la généralisation.
Sous-échantillonnage des Caractéristiques
Technique de régularisation dans le Gradient Boosting qui consiste à ne considérer qu'un sous-ensemble aléatoire des variables prédictives pour chaque分割 de nœud d'arbre, limitant le surapprentissage.
Profondeur Max de l'Arbre
Hyperparamètre contrôlant la complexité de chaque apprenant faible en limitant le nombre de分割 de décision, équilibrant le biais et la variance dans les modèles de Gradient Boosting.
Pseudo-Résidus
Généralisation des résidus dans le Gradient Boosting, représentant le gradient négatif de la fonction de perte par rapport aux prédictions actuelles, permettant l'optimisation pour diverses fonctions de perte.
Boosting de Régression
Application du Gradient Boosting aux problèmes de régression où l'objectif est de prédire des valeurs continues, utilisant typiquement une fonction de perte quadratique ou absolue.
Boosting de Classification
Application du Gradient Boosting aux problèmes de classification, utilisant des fonctions de perte spécifiques comme la log-loss (entropie croisée) pour guider l'optimisation des probabilités de classe.
Régularisation L1/L2
Techniques de pénalisation ajoutées à la fonction de perte dans le Gradient Boosting pour contrôler la complexité des poids des feuilles d'arbres, réduisant le surapprentissage et améliorant la robustesse.