Глоссарий ИИ
Полный словарь искусственного интеллекта
Контрактивный автоэнкодер (CAE)
Тип автоэнкодера, функция потерь которого включает штраф на норму матрицы Якоби кодировщика, заставляя латентное представление быть нечувствительным к малым изменениям на входе.
Якобиан штраф
Член регуляризации, добавляемый к функции потерь контрактивного автоэнкодера, вычисляемый как сумма квадратов частных производных латентного представления относительно каждого входного пикселя.
Устойчивость к возмущениям
Способность модели, особенно контрактивного автоэнкодера, поддерживать стабильную производительность при незначительных изменениях или шумах во входных данных.
Контрактивная функция потерь
Целевая функция, объединяющая стандартную ошибку реконструкции и якобиан штраф, оптимизируемая при обучении контрактивного автоэнкодера.
Затухание градиента
Потенциальная проблема при вычислении якобиан штрафа в глубоких сетях, где градиенты могут становиться крайне малыми, что затрудняет оптимизацию.
Контрактивное латентное пространство
Пространство представлений низкой размерности, создаваемое кодировщиком CAE, характеризующееся низкой чувствительностью к локальным изменениям на входе.
Фактор регуляризации (лямбда)
Гиперпараметр, контролирующий относительную важность якобиан штрафа по сравнению с ошибкой реконструкции в функции потерь контрактивного автоэнкодера.
Разделение факторов
Цель, связанная с контрактивными автоэнкодерами, где латентное представление стремится захватить наиболее релевантные факторы вариации данных, игнорируя нерелевантные вариации.
Автоэнкодер шумоподавления (Denoising Autoencoder)
Связанная модель, которая учится восстанавливать чистый ввод из поврежденной версии, разделяя цель устойчивости с контрактным автоэнкодером, но через другой подход.
Чувствительность модели
Мера изменения выхода модели (здесь, латентного представления) в ответ на небольшие изменения ее ввода, которую контрактный автоэнкодер стремится минимизировать.
Регуляризация ограничениями
Стратегия регуляризации, используемая в CAE, где явное ограничение (штраф на якобиан) накладывается на параметры модели для управления ее обучением.