Глоссарий ИИ
Полный словарь искусственного интеллекта
Gradient Boosting
Technique d'apprentissage ensembliste qui construit des modèles prédictifs de manière séquentielle, où chaque nouveau modèle corrige les erreurs des modèles précédents en optimisant une fonction de perte via la descente de gradient.
Apprentissage par Additivité
Principe fondamental du Gradient Boosting où le modèle final est la somme pondérée de prédictions de multiples apprenants faibles, chacun ajouté pour améliorer la performance globale.
Taux d'Apprentissage (Learning Rate)
Hyperparamètre qui contrôle l'influence de chaque apprenant faible sur le modèle final, agissant comme un facteur de pondération pour éviter le surapprentissage.
Résidus
Erreurs de prédiction du modèle actuel, calculées comme la différence entre les valeurs observées et les prédictions, sur lesquelles le prochain apprenant faible est entraîné en Gradient Boosting.
Nombre d'Estimateurs
Hyperparamètre définissant le nombre d'apprenants faibles (itérations) à construire dans le modèle de Gradient Boosting, influençant directement la complexité et la performance.
XGBoost (Extreme Gradient Boosting)
Implémentation optimisée et parallélisée du Gradient Boosting qui intègre la régularisation, le traitement des valeurs manquantes et des techniques d'élagage d'arbres pour une efficacité supérieure.
LightGBM
Framework de Gradient Boosting qui utilise une technique de croissance d'arbres par feuilles (leaf-wise) plutôt que par niveau (level-wise), offrant une vitesse d'entraînement accrue et une consommation mémoire réduite.
CatBoost
Algorithme de Gradient Boosting spécialisé dans le traitement efficace des variables catégorielles, utilisant des techniques de codage ordonné et des schémas de boosting asymétriques.
Стохастический градиентный бустинг
Вариант градиентного бустинга, где каждый слабый ученик обучается на случайном подмножестве обучающих данных, что уменьшает корреляцию между деревьями и улучшает обобщение.
Подвыборка признаков
Техника регуляризации в градиентном бустинге, заключающаяся в рассмотрении только случайного подмножества предикторных переменных для каждого разделения узла дерева, что ограничивает переобучение.
Максимальная глубина дерева
Гиперпараметр, контролирующий сложность каждого слабого ученика путем ограничения количества разделений решений, уравновешивающий смещение и дисперсию в моделях градиентного бустинга.
Псевдо-остатки
Обобщение остатков в градиентном бустинге, представляющее собой отрицательный градиент функции потерь относительно текущих прогнозов, позволяющее оптимизацию для различных функций потерь.
Бустинг регрессии
Применение градиентного бустинга к задачам регрессии, где целью является предсказание непрерывных значений, обычно использующее квадратичную или абсолютную функцию потерь.
Бустинг классификации
Применение градиентного бустинга к задачам классификации, использующее специфические функции потерь, такие как лог-лосс (перекрестная энтропия), для направления оптимизации вероятностей классов.
L1/L2 регуляризация
Техники штрафования, добавляемые к функции потерь в градиентном бустинге для контроля сложности весов листьев деревьев, уменьшающие переобучение и улучшающие робастность.