Глоссарий ИИ
Полный словарь искусственного интеллекта
Классический импульс
Техника оптимизации, которая накапливает прошлые градиенты с фактором затухания для создания инерции в обновлениях весов. Этот подход позволяет ускорить сходимость в постоянных направлениях, одновременно ослабляя колебания.
Фактор импульса (beta)
Гиперметрический параметр, контролирующий влияние предыдущих градиентов на текущее обновление, обычно устанавливаемый между 0.9 и 0.99. Более высокое значение увеличивает инерцию и стабилизирует траекторию оптимизации в узких долинах.
Скорость градиента
Вектор, накапливающий взвешенные градиенты предыдущих итераций, представляющий направление и скорость спуска в пространстве параметров. Скорость обновляется на каждой итерации линейной комбинацией текущего градиента и предыдущей скорости.
Инерция в оптимизации
Аналогичное физическое явление, при котором обновления параметров сохраняют часть своего предыдущего импульса, позволяя преодолевать плато и мелкие локальные минимумы. Инерция особенно эффективна для навигации в сложных и невыпуклых ландшафтах потерь.
Затухающие колебания
Постепенное уменьшение флуктуаций вокруг оптимального направления спуска благодаря накоплению импульса в согласованных направлениях. Этот механизм особенно стабилизирует оптимизацию в узких долинах, где градиенты сильно коррелированы.
Адаптивный импульс
Расширение импульса, где фактор инерции динамически регулируется в соответствии с локальными характеристиками ландшафта оптимизации. Эта адаптация позволяет достичь оптимального баланса между исследованием и эксплуатацией в зависимости от геометрии поверхности потерь.
История градиентов
Память предыдущих градиентов, используемая для вычисления направления текущего обновления, позволяющая захватывать долгосрочные тенденции спуска. Экспоненциально взвешенная история предпочитает недавние градиенты, сохраняя информацию о предыдущих итерациях.
Виртуальная масса
Аналогичная концепция, представляющая сопротивление изменению в траектории оптимизации, контролируемое фактором импульса. Высокая виртуальная масса создает более плавные движения, менее чувствительные к мгновенным шумам градиента.
Сила трения
Механизм неявной регуляризации в импульсе, который противодействует ускорению для предотвращения расходимости, обычно реализуемый через множитель (1-бета). Эта сила обеспечивает числовую стабильность и гарантирует сходимость к значимым минимумам.
Стохастический импульс
Применение импульса в стохастической оптимизации, где зашумлённые градиенты усредняются во времени для уменьшения дисперсии оценок. Эта техника особенно эффективна при обучении на больших наборах данных с мини-пакетами.
Импульс по мини-пакетам
Стратегия, при которой скорость обновляется после каждого мини-пакета, а не после каждого отдельного образца, предлагая компромисс между стабильностью и вычислительными затратами. Этот подход обеспечивает лучшую генерализацию, сохраняя при этом преимущества импульса.
Затухание импульса
Техника настройки фактора импульса во время обучения, обычно путём его постепенного уменьшения для уточнения финальной сходимости. Эта стратегия сочетает быстрое исследование в начале обучения с точностью в конце оптимизации.
Циклический импульс
Периодическое изменение фактора импульса, синхронизированное с циклами обучения, для выхода из локальных минимумов и исследования пространства решений. Этот подход часто комбинируется с циклическими скоростями обучения для улучшения общей оптимизации.
Разогрев импульса
Начальная фаза обучения, при которой фактор импульса постепенно увеличивается с нуля, чтобы избежать нестабильности первых итераций. Эта техника позволяет постепенную стабилизацию оптимизации в глубоких сетях.