Глоссарий ИИ
Полный словарь искусственного интеллекта
Обрезка сети (Pruning)
Метод, заключающийся в выборочном удалении наименее важных весов или нейронов модели диффузии, создавая более разреженную и эффективную архитектуру с минимальным влиянием на производительность.
Очистка с классификатором (Classifier Guidance)
Стратегия оптимизации, использующая внешнюю модель классификации для направления процесса очистки от шума, позволяющая достичь эквивалентного визуального качества с меньшим количеством вычислительно затратных шагов очистки.
Низкоранговый вывод (Low-Rank Inference)
Подход, аппроксимирующий большие весовые матрицы модели произведениями матриц более низкого ранга, значительно уменьшая количество параметров и операций матричного умножения при выводе.
Метод ускорения (Accelerate Method)
Набор методов, направленных на ускорение процесса диффузии путем пропуска промежуточных шагов очистки от шума, часто с использованием моделей регрессии для прямого предсказания будущих шагов.
Оптимизация памяти через Gradient Checkpointing
Техника управления памятью, которая выборочно сохраняет промежуточные активации при обратном распространении, пересчитывая их по мере необходимости для обмена уменьшенного использования RAM на небольшое увеличение времени вычислений.
Смесь экспертов (Mixture of Experts - MoE)
Архитектура модели, в которой несколько 'экспертов' (подсетей) активируются условно, позволяя увеличить ёмкость модели без пропорционального увеличения вычислительных затрат для одного вывода.
Дистилляция временных шагов (Time-step Distillation)
Форма дистилляции, при которой модель-ученик учится генерировать результаты высокого качества, используя меньше шагов очистки от шума, чем модель-учитель, тем самым напрямую ускоряя процесс генерации.
Эффективная стохастическая репараметризация
Оптимизация процесса добавления и удаления шума, использующая репараметризованные параметры для уменьшения дисперсии и количества необходимых выборок, делая каждый шаг диффузии более стабильным и менее затратным.
Кэширование характеристик (Feature Caching)
Стратегия запоминания промежуточных карт характеристик для повторяющихся входных условий (например, текст), избегая их пересчета на каждом этапе шумоподавления и тем самым снижая общую вычислительную нагрузку.
Развертывание на тензорных процессорах (TPU)
Адаптация архитектуры моделей диффузии для использования массово параллельных матричных операций TPU, оптимизируя потоки данных и вычислительные ядра для сверхвысокоскоростного вывода.
Компромисс качество-скорость через планировщик
Использование различных планировщиков шума (например, DDIM, DPM-Solver), которые позволяют контролировать количество этапов шумоподавления, обеспечивая точную настройку между качеством изображения и скоростью генерации.
Слияние ядер свертки
Техника оптимизации, объединяющая последовательные слои свертки (например, Conv + BatchNorm + ReLU) в одну операцию свертки, уменьшая задержку и доступ к памяти на оборудовании для вывода.
Согласованная латентная диффузионная модель (Consistency Latent Diffusion)
Вариант модели, обученной отображать любую точку на траектории шума непосредственно к исходным данным, позволяя генерацию в один или очень мало этапов, революционизируя вычислительную эффективность.
Оптимизация поиском сетки гиперпараметров
Процесс систематического исследования конфигураций гиперпараметров (например, скорость обучения, количество голов внимания) для идентификации наиболее производительной модели с точки зрения соотношения качества/вычислительной стоимости.
Асинхронный вывод через конвейер
Архитектура развертывания, где этапы шумоподавления обрабатываются параллельно на разных вычислительных устройствах, скрывая задержку и увеличивая пропускную способность для приложений диффузии в реальном времени.