Глоссарий ИИ
Полный словарь искусственного интеллекта
Сэмплер Гиббса
Частный случай алгоритма Метрополиса-Хастингса, в котором каждое новое значение выбирается из полного условного распределения одной переменной при текущих значениях всех остальных переменных.
Разогрев (Burn-in)
Начальная фаза моделирования MCMC, в которой выборки игнорируются, чтобы позволить цепи достичь стационарного распределения и перестать зависеть от начальной точки.
Гамильтонов метод Монте-Карло (HMC)
Продвинутый алгоритм MCMC, использующий гамильтонову механику для предложения переходов на большие расстояния с высокой вероятностью принятия, что снижает автокорреляцию по сравнению с методами случайного блуждания.
Случайное блуждание (Random Walk)
Стратегия предложения в алгоритме Метрополиса-Хастингса, при которой новое состояние представляет собой текущее состояние плюс случайное возмущение; часто оказывается неэффективной для распределений высокой размерности.
Диагностика сходимости
Набор статистических и визуальных методов (например, критерий $\bar{R}$ Гельмана-Рубина, графики траекторий) для оценки того, достигли ли одна или несколько цепей MCMC своего стационарного распределения.
Эффективный размер выборки (ESS)
Количество эквивалентных независимых выборок в автокоррелированной цепи MCMC, вычисляемое путем деления общего числа итераций на коэффициент автокорреляции.
Предлагаемое распределение
Условное распределение $q(x'|x)$, используемое для генерации кандидата из текущего состояния $x$ в алгоритмах Метрополиса-Хастингса; выбор этого распределения влияет на эффективность исследования пространства.
Критерий принятия
Вероятностное правило в алгоритме Метрополиса-Хастингса для принятия решения о принятии или отклонении предложенного состояния, основанное на отношении плотностей целевого распределения и распределения предложения.
Апериодичность
Свойство цепи Маркова, гарантирующее, что она не попадает в детерминированные циклы; необходимое условие для сходимости к единственному стационарному распределению.
Неприводимость
Свойство цепи Маркова, обеспечивающее, что любое состояние пространства может быть достигнуто из любого другого состояния с ненулевой вероятностью за конечное число шагов.
Прореживание (Thinning)
Техника постсимуляции, заключающаяся в сохранении только одного значения из каждых $k$ для снижения автокорреляции и нагрузки на хранилище, хотя ее полезность часто обсуждается.
Сэмплирование срезами (Slice Sampling)
Метод MCMC, осуществляющий выборку из целевого распределения путем введения вспомогательной переменной ('среза') и равномерного исследования подпространства, ограниченного этим срезом.
Время интеграции
В HMC параметр, контролирующий продолжительность моделирования гамильтоновой системы перед предложением Метрополиса, влияющий на пройденное расстояние в пространстве параметров.
Матрица массы
В HMC матрица, определяющая метрику кинетического пространства; ее настройка (часто на основе диагонали ковариационной матрицы апостериорного распределения) критически важна для эффективности алгоритма.
Ансамблевое сэмплирование
Семейство алгоритмов MCMC (например, аффинно-инвариантных), использующих несколько параллельных блуждающих частиц для исследования пространства, что повышает эффективность на мультимодальных или сильно коррелированных распределениях.