Глоссарий ИИ
Полный словарь искусственного интеллекта
Механизм предпросмотра
Техника оптимизации, которая поддерживает два набора весов: быстрые веса, обновляемые часто, и медленные веса, которые следуют среднему значению быстрых весов для улучшения обобщения.
Импульс градиента
Параметр ускорения в методах оптимизации, который накапливает предыдущие градиенты с экспоненциальным фактором затухания, позволяя преодолевать локальные минимумы и ускорять сходимость.
Стратегия перезапуска
Подход, при котором импульс периодически сбрасывается до нуля для избежания осцилляций и улучшения сходимости в задачах невыпуклой оптимизации с ускорением Нестерова.
Адаптивная оценка импульса
Расширение методов импульса, которое динамически адаптирует скорости обучения для каждого параметра, объединяя преимущества NAG с адаптивной нормализацией градиентов.
Масштаб шума градиента
Параметр, количественно определяющий отношение между дисперсией стохастического градиента и нормой градиента, влияющий на выбор оптимального размера батча в методах NAG.
Стратегия прогрева
Техника постепенной инициализации скорости обучения и импульса для стабилизации начальных этапов обучения с NAG, особенно важная в глубоких сетях.
Сглаживание ландшафта потерь
Полезный эффект NAG, который неявно изменяет поверхность функции потерь, создавая более широкие бассейны притяжения вокруг минимумов, облегчая оптимизацию.
Ускоренный покоординатный спуск
Вариант покоординатного спуска, включающий принципы ускорения Нестерова для эффективной оптимизации задач большой размерности с разреженными структурами.
Прямо-обратное разделение
Алгоритм фиксированной точки для составной оптимизации, где ускорение Нестерова применяется к гладкой части задачи, в то время как ограничения управляются с помощью проксимальных операторов.
Градиент оптимального переноса
Применение NAG в задачах оптимизации на основе оптимального переноса, где ускорение позволяет эффективно управлять ограничениями массы и сохранения.