Глоссарий ИИ
Полный словарь искусственного интеллекта
Утечка информации (Blending)
Специфический риск блендинга, при котором мета-модель может переобучиться на предсказаниях базовых моделей, если hold-out набор недостаточно репрезентативен или слишком мал.
Веса блендинга
Коэффициенты или параметры, которые обучает мета-модель (часто простая линейная регрессия) для взвешивания предсказаний каждой базовой модели в итоговой комбинации.
Двухуровневое обучение
Последовательный процесс блендинга, при котором сначала обучаются базовые модели, а затем обучается мета-модель на их соответствующих предсказаниях.
Стэкинг с перекрёстной проверкой
Альтернатива блендингу, при которой предсказания для мета-модель генерируются с помощью перекрёстной проверки (cross-validation) на обучающем наборе, что снижает риск переобучения, но увеличивает сложность.
Разнообразие моделей
Ключевой принцип блендинга, заключающийся в использовании базовых моделей с разными алгоритмами (например, дерево решений, SVM, нейронная сеть) для выявления различных паттернов и улучшения общей производительности.
Out-of-Fold предсказания
Предсказания, сгенерированные моделью на валидационных данных каждого фолда перекрёстной проверки, используемые в стэкинге, но избегаемые в блендинге в пользу hold-out набора.
Переобучение мета-модели
Явление, при котором мета-модель запоминает предсказания базовых моделей на hold-out наборе вместо того, чтобы обобщать их комбинацию, часто вызванное слишком малым hold-out набором или слишком сложной мета-моделью.
Линейный блендинг
Упрощённая форма блендинга, при которой мета-модель является линейной регрессией, которая просто находит оптимальную линейную комбинацию предсказаний базовых моделей.
Стратифицированное разделение для блендинга
Техника разделения набора данных на обучающие и отложенные наборы для блендинга, сохраняющая распределение целевых классов для избежания смещения в предсказаниях метамодели.
Объединение предсказаний
Действие объединения выходов нескольких оценщиков, которое составляет основу блендинга и других ансамблевых методов для получения более надежного итогового предсказания.
Взвешенный блендинг
Вариант блендинга, где веса, присвоенные предсказаниям базовых моделей, определяются вручную или эвристически, а не обучаются метамоделью.
Обобщение в блендинге
Способность финальной модели блендинга корректно работать на новых невидимых данных, зависящая от надежности базовых моделей и способности метамодели обобщать их комбинацию.