Глоссарий ИИ
Полный словарь искусственного интеллекта
Бэггинг
Техника ансамбля, создающая несколько моделей на бутстреп-выборках из исходного набора данных и агрегирующая их прогнозы путем большинства голосов или усреднения.
Бустинг
Последовательный метод, где каждая модель учится на ошибках предыдущей, придавая больший вес неверно классифицированным примерам для постепенного улучшения производительности.
Стекинг
Подход, объединяющий прогнозы нескольких базовых моделей с помощью мета-модели, которая учится оптимизировать их веса для получения лучших итоговых прогнозов.
Случайный лес
Ансамбль деревьев решений, использующий бэггинг со случайным выбором признаков при каждом разделении, уменьшающий дисперсию и предотвращающий переобучение.
Градиентный бустинг
Алгоритм бустинга, последовательно строящий модели, которые учатся исправлять ошибки (остатки) предыдущей модели с помощью градиентного спуска.
AdaBoost
Адаптивное усиление, корректирующее веса обучающих примеров и слабых классификаторов для концентрации на трудно классифицируемых случаях.
XGBoost
Оптимизированная реализация градиентного бустинга с L1/L2-регуляризацией, параллельной обработкой и эффективным управлением пропущенными значениями.
LightGBM
Фреймворк градиентного бустинга, использующий листовой рост (leaf-wise growth) и гистограммные алгоритмы для быстрого и эффективного обучения на больших наборах данных.
CatBoost
Алгоритм градиентного бустинга, специализирующийся на автоматической обработке категориальных переменных без предварительного кодирования.
Голосующие классификаторы
Ансамблевый метод, комбинирующий предсказания нескольких классификаторов путем мажоритарного голосования (hard voting) или усреднения вероятностей (soft voting).
Extra Trees
Экстремально рандомизированные деревья, использующие полностью случайные разбиения для каждого разделения без бутстрапа, увеличивающие разнообразие и уменьшающие смещение.
Блендинг
Вариант стэкинга, использующий hold-out валидационный набор для обучения метамодели вместо перекрестной проверки, более простой, но менее устойчивый.
Динамический выбор ансамбля
Методы, динамически выбирающие подмножество компетентных моделей для каждой новой предсказываемой инстанции, оптимизирующие локальную производительность.
Разнообразие ансамбля
Техники измерения и максимизации разнообразия между базовыми моделями для улучшения робастности ансамбля и снижения коррелированных ошибок.
Гибридные ансамблевые методы
Комбинация различных ансамблевых техник (бэггинг + бустинг) или интеграция других парадигм, таких как нейронные сети.