Глоссарий ИИ
Полный словарь искусственного интеллекта
Вариационное среднее поле
Упрощающая гипотеза факторизации в вариационном выводе, при которой апостериорное распределение аппроксимируется произведением независимых распределений для каждой группы параметров, что облегчает оптимизацию.
Координатное покоординатное обновление (CCVI)
Итеративный алгоритм оптимизации для вариационного вывода, последовательно обновляющий каждый фактор приближенного распределения, пока остальные остаются фиксированными, до достижения сходимости.
Стохастический вариационный вывод (SVI)
Расширение вариационного вывода, использующее мини-пакеты данных и стохастические оценки градиента для масштабирования на большие наборы данных, что делает оптимизацию ELBO более эффективной.
Амортизированный вывод (Amortized VI)
Подход, при котором параметры вариационного распределения предсказываются нейронной сетью («энкодером») на основе наблюдаемых данных, что позволяет избежать оптимизации для каждого нового наблюдения.
Вариационное апостериорное распределение
Распределение вероятностей, выбранное из параметризованного семейства для аппроксимации истинного апостериорного распределения в рамках вариационного вывода, оптимизируемое для минимизации расхождения KL.
Вариационная факторизация
Принцип, заключающийся в наложении упрощенной структуры зависимостей (часто независимости) на вариационное распределение, чтобы сделать вычисления и оптимизацию вычислимыми.
Оптимизация ELBO
Центральный процесс вариационного вывода, заключающийся в максимизации нижней границы доказательства (ELBO) с помощью методов градиентного спуска, что приближает вариационное распределение к апостериорному.
Вариационный метод Монте-Карло
Метод вариационного вывода, который не накладывает ограничений на форму приближенного распределения, используя выборки Монте-Карло для оценки и оптимизации ELBO, что обеспечивает большую гибкость.
Обратная KL-дивергенция
Вариант KL-дивергенции, в котором порядок распределений инвертирован (KL(q||p) против KL(p||q)), что приводит к различным апостериорным приближениям, часто более 'охватывающим' (zero-forcing) в вариационном выводе.
Структурированный вариационный вывод
Обобщение метода среднего поля (mean-field), при котором вариационное распределение ограничено структурой графа, более сложной, чем полная независимость, что позволяет улавливать определенные зависимости для лучшего приближения.
Black-Box VI
Подход вариационного вывода, который требует только возможности выборки из модели и вычисления логарифма правдоподобия, используя градиенты Монте-Карло для оптимизации ELBO без аналитических вычислений.