Глоссарий ИИ
Полный словарь искусственного интеллекта
Байесовское усреднение моделей (BMA)
Статистический подход, который объединяет предсказания нескольких моделей, взвешивая их по их апостериорным вероятностям, позволяя учитывать неопределенность модели в окончательных прогнозах.
Апостериорная вероятность модели
Вероятность того, что модель является истинной моделью, порождающей данные, после наблюдения данных, вычисляемая с помощью теоремы Байеса путем объединения правдоподобия и априорной вероятности модели.
Свидетельство модели
Маргинальное правдоподобие данных при конкретной модели, полученное путем интегрирования по всем параметрам модели, используемое для сравнения различных моделей в байесовском подходе.
Окно Оккама
Техника выбора моделей в BMA, которая исключает слишком сложные модели по сравнению с наблюдаемыми данными, сохраняя только модели в пределах разумного окна сложности.
Байесовский выбор модели
Процесс выбора между конкурирующими моделями на основе их апостериорных вероятностей, автоматически включающий штраф за сложность модели через принцип Оккама.
Априорная вероятность модели
Вероятность, присваиваемая модели до наблюдения данных, отражающая априорные убеждения об относительной правдоподобности различных моделей-кандидатов.
Прогнозирующее распределение
Распределение вероятностей будущих наблюдений, интегрирующее неопределенность параметров и моделей, полученное путем взвешенного усреднения прогнозирующих распределений каждой модели.
Байесовское ансамблирование
Метод агрегации моделей, использующий байесовские принципы для объединения предсказаний нескольких моделей в одно окончательное предсказание, взвешенное по их достоверности.
Взвешенное среднее предсказание
Финальное предсказание, полученное путем усреднения индивидуальных предсказаний моделей, взвешенных по их апостериорным вероятностям в рамках BMA.
Байесовский информационный критерий (BIC)
Критерий выбора модели, аппроксимирующий апостериорную вероятность модели, штрафующий сложность модели для предотвращения переобучения в байесовских подходах.
Процесс Дирихле
Стохастический процесс, используемый в непараметрических байесовских моделях, позволяющий бесконечное число компонентов в смесях и облегчающий усреднение моделей.
Иерархическая байесовская модель
Структура модели, где сами параметры имеют априорные распределения со своими собственными гиперпараметрами, позволяющая делиться информацией между похожими моделями в BMA.
Композиция моделей методом Монте-Карло с цепями Маркова (MC3)
Алгоритм выборки, исследующий пространство моделей для оценки апостериорных вероятностей моделей в задачах выбора и усреднения моделей.
Обратимый прыжок MCMC
Расширение алгоритма MCMC, позволяющее перемещаться между пространствами параметров разной размерности, важное для байесовского вывода о моделях переменной сложности.
Байесовский фактор
Отношение свидетельств двух конкурирующих моделей, количественно определяющее поддержку, предоставляемую данными в пользу одной модели по сравнению с другой в байесовской структуре.
Предсказательное апостериорное распределение
Предсказательное распределение будущих наблюдений, интегрирующее неопределенность параметров и моделей, краеугольный камень BMA для создания надежных предсказаний.
Пространство моделей
Совокупность всех кандидатных моделей, рассматриваемых в анализе BMA, которая может быть конечной или бесконечной в зависимости от контекста и ограничений задачи.
Априорное распределение 'шип-плита'
Смешанное априорное распределение для коэффициентов регрессии, сочетающее точечную массу в нуле (шип) и непрерывное распределение (плита), облегчающее отбор переменных в BMA.
Байесовская комбинация моделей
Расширение BMA, где веса комбинации моделей сами рассматриваются как случайные параметры с априорными распределениями, позволяющее более гибкий вывод об агрегации.