Глоссарий ИИ
Полный словарь искусственного интеллекта
Иерархический Вариационный Автокодировщик (HVAE)
Расширенная архитектура VAE с несколькими уровнями латентных переменных, организованных иерархически для захвата многоуровневых представлений. Позволяет более тонко моделировать сложные структуры через условные зависимости между уровнями.
Иерархические Латентные Переменные
Набор латентных переменных, организованных в слои, где каждый уровень захватывает различные абстракции содержания. Верхние уровни моделируют глобальные структуры, в то время как нижние уровни захватывают тонкие детали.
Снизу-вверх Сетевая Архитектура Вывода
Сеть вывода, которая обрабатывает входные данные снизу вверх через иерархические слои VAE. Каждый уровень вычисляет параметры распределения для соответствующих латентных переменных, используя информацию с нижних уровней.
Сверху-вниз Генерирующая Сеть
Генерирующая сеть, которая семплирует латентные переменные от верхних уровней к нижним для реконструкции данных. Реализует условную генерацию, где каждый уровень зависит от семплов верхних уровней.
Лестничный VAE
Специфический вариант HVAE с боковыми соединениями между уровнями вывода и генерации. Использует комбинированные восходящие и нисходящие проходы для улучшения оценки апостериорного распределения и качества реконструкции.
Стохастическая Глубина
Техника регуляризации, при которой некоторые иерархические соединения случайным образом отключаются во время обучения. Улучшает обобщение, заставляя сеть изучать устойчивые представления на разных уровнях абстракции.
Иерархическая ELBO
Нижняя оценка правдоподобия, адаптированная для иерархических структур с членами KL-дивергенции для каждого латентного уровня. Включает взвешенные члены реконструкции согласно иерархии латентных переменных.
Коллапс Апостериорного Распределения
Феномен, при котором сеть вывода игнорирует латентные переменные и производит вырожденное апостериорное распределение, равное априорному. Особенно проблематичен в HVAE с многочисленными иерархическими уровнями.
Многоуровневая Амортизированная Инференция
Стратегия оптимизации, в которой одна нейронная сеть используется для оценки апостериорных параметров на всех иерархических уровнях. Снижает вычислительную сложность при сохранении выразительной способности.
Глобальные и Локальные Латентные Переменные
Различие в HVAE между переменными, захватывающими глобальные свойства (стиль, категория) и локальные переменные (специфические детали). Глобальные переменные обычно находятся на верхних уровнях иерархии.
Аннелинг KL Дивергенции
Техника обучения, при которой вес членов KL дивергенции постепенно увеличивается. Необходима в HVAE для предотвращения коллапса апостериорного распределения и обеспечения сбалансированного обучения между реконструкцией и регуляризацией.
Иерархические Пропущенные Соединения
Прямые соединения между несмежными уровнями иерархии для сохранения градиента и улучшения стабильности. Облегчают поток информации между детальными и абстрактными представлениями.
Многоуровневый Трюк Репараметризации
Расширение стандартного трюка репараметризации для иерархических архитектур с выборкой на нескольких уровнях. Требует скоординированного управления градиентами по всей стохастической цепи.
Факторизованное Апостериорное Распределение
Аппроксимация апостериорного распределения, где латентные переменные на каждом уровне условно независимы при заданных нижних уровнях. Упрощает инференцию, позволяя при этом сложные иерархические зависимости.
Иерархические Плотные Соединения
Архитектура, в которой каждый уровень иерархии получает на вход конкатенации всех предыдущих уровней. Максимизирует поток информации и облегчает обучение богатым представлениям.