Глоссарий ИИ
Полный словарь искусственного интеллекта
Модель Диффузии Видео
Архитектура генерации, которая применяет процесс диффузии к пространственно-временным данным, постепенно добавляя шум к изображениям видеопоследовательности перед обучением его удалению для восстановления или создания согласованных видео.
Пространственно-Временная Латентная Диффузия
Вариант моделей видеодиффузии, работающий в сжатом латентном пространстве, снижающий вычислительную сложность путем применения процесса добавления и удаления шума к низкоразмерным представлениям вместо сырых пикселей каждого кадра.
3D Внимание
Механизм внимания, который одновременно обрабатывает пространственные (высота, ширина) и временные (время) измерения видео, позволяя модели взвешивать важность различных регионов в разные моменты времени для захвата пространственно-временных зависимостей.
Внедрение Времени (Time Embedding)
Техника кодирования временной информации (шаг диффузии, позиция в последовательности) в виде векторов, которые внедряются в сеть, направляя процесс генерации для поддержания согласованности и движения во времени.
Условное Удаление Шума по Предыдущему Кадру
Стратегия, где предсказание шума для видеокадра обусловлено очищенной версией предыдущего кадра, обеспечивая сильную непрерывность и временную согласованность между последовательными изображениями генерируемой последовательности.
3D U-Net Архитектура
Структура сверточной нейронной сети, адаптированная для видеоданных, сочетающая пути энкодер-декодер с 3D остаточными соединениями для эффективного захвата контекстов на множественных пространственных и временных масштабах при удалении шума.
Пространственно-Временное Латентное Пространство
Сжатое и абстрактное представление видеопоследовательности, где пространственная и временная информация закодирована в вектор или карту признаков низкой размерности, служащую основой для генерации или манипуляции видео.
Бесклассовый Направляющий Контроль (CFG) для Видео
Метод управления генерацией видео без явного классификатора, обучая модель одновременно на условных (например, текст) и безусловных данных, затем интерполируя между их предсказаниями для настройки соответствия промпту при сохранении разнообразия.
Временное планирование диффузии
Планирование количества шагов денойзинга, выделяемых для каждого кадра или временных сегментов, которое может быть равномерным или адаптивным для оптимизации качества и общей согласованности генерируемого видео в зависимости от сложности движения.
Временная супер-разрешение с помощью диффузии
Применение моделей диффузии для увеличения частоты кадров (fps) видео, генерируя промежуточные кадры, которые реалистично интерполируют движение и изменения между существующими кадрами.
Видео инпейнтинг с помощью диффузии
Процесс заполнения отсутствующих или замаскированных областей в видео последовательности с использованием модели диффузии, которая генерирует пиксели, пространственно и временно согласованные на основе контекста окружающих кадров.
Моделирование латентного движения
Техника, при которой движение в видео моделируется и генерируется непосредственно в латентном пространстве, часто путем предсказания смещений или преобразований между латентными кодами последовательных кадров перед их декодированием в изображения.
Временная согласованность через ограничения
Подход, который добавляет штраф или явное ограничение в функцию потерь модели, чтобы предотвратить изменения внешнего вида (например, цвета, текстуры), не связанные с движением между соседними кадрами, способствуя визуальной стабильности.
Пространственно-временная декомпозиция шума
Продвинутый метод, при котором шум, добавляемый и предсказываемый моделью, декомпозируется на пространственную компоненту (внешний вид) и временную компоненту (движение), позволяя более точный контроль и более надежную генерацию динамических видео.
Авторегрессия на латентных представлениях диффузии
Гибридная стратегия, которая генерирует видео авторегрессивно кадр за кадром, где каждый латентный кадр производится шагом диффузии, обусловленным предыдущими латентными кадрами, сочетая согласованность авторегрессии и качество диффузии.
Нормализация временных характеристик
Слой нормализации, применяемый к временному измерению карт признаков в 3D U-Net, стабилизирующий обучение, обеспечивая согласованность распределения активаций на различных временных этапах последовательности.