Глоссарий ИИ
Полный словарь искусственного интеллекта
Дистилляция знаний
Техника, при которой большая диффузионная модель (учитель) обучает меньшую и более быструю модель (ученик) воспроизводить свои выходные данные, тем самым снижая вычислительные затраты на вывод.
Прогрессивная дистилляция
Метод итеративной дистилляции, при котором каждая модель-ученик обучается у слегка более быстрой модели-учителя, что позволяет экспоненциально ускорить процесс семплирования.
Планировщик
Алгоритм, определяющий последовательность уровней шума и временные шаги для процесса удаления шума, напрямую влияющий на скорость и качество генерации.
Планировщик DDIM
Детерминированный планировщик, который позволяет генерировать сэмплы с гораздо меньшим количеством шагов, чем стандартный планировщик, изменяя стохастичность процесса удаления шума.
Планировщик DPM-Solver
Решатель стохастических дифференциальных уравнений высокого порядка, предназначенный для ускорения семплирования диффузионных моделей, достигая высокого качества с очень малым количеством шагов оценки.
Одношаговое семплирование
Цель дистилляции, при которой модель-ученик обучается генерировать чистый выход из зашумленного входа за один шаг удаления шума.
Латентное пересемплирование
Стратегия ускорения, которая изменяет траекторию удаления шума в латентном пространстве путем пересемплирования промежуточных состояний для уменьшения общего количества необходимых шагов.
Модели консистентности
Семейство генеративных моделей, обученных отображать любую точку траектории шума непосредственно в начальную точку траектории, позволяя проводить семплирование за один шаг или очень малое количество шагов.
Дистилляция по траектории (Trajectory Distillation)
Вариант дистилляции, при котором модель-ученик учится имитировать полную траекторию шумоподавления модели-учителя на нескольких этапах, вместо того чтобы сосредотачиваться на одном этапе.
Планировщик LCMS (Linear Multistep Scheduler)
Планировщик на основе линейных многошаговых методов, оптимизированный для быстрой и стабильной сходимости с малым количеством шагов выборки.
Ускорение слиянием токенов (Token Merging)
Техника, снижающая вычислительную сложность денойзера (часто U-Net Transformer) путем семантического слияния похожих токенов на каждом этапе шумоподавления.
Равномерное шумоподавление (Uniform Denoising)
Стратегия выборки, использующая равномерно распределенные временные шаги, часто комбинируемая с продвинутыми решателями для максимизации эффективности при уменьшенном количестве шагов.
Адверсариальная дистилляция
Подход, при котором дискриминаторная сеть используется для помощи модели-ученику в изучении характеристик распределения модели-учителя, улучшая достоверность быстрой генерации.
Планировщик Карраса
Планировщик шума, определяющий более гладкую и непрерывную дисперсию шума, часто используемый для улучшения стабильности и качества выборки при малом количестве шагов.
Ускоренная стохастическая выборка
Методы, сохраняющие стохастическую компоненту в процессе шумоподавления, одновременно используя продвинутые планировщики или решатели для сокращения количества шагов, балансируя разнообразие и скорость.