Глоссарий ИИ
Полный словарь искусственного интеллекта
Мини-пакетный градиентный спуск
Вариант SGD, который использует небольшой поднабор данных (мини-пакет) для вычисления градиента на каждой итерации, обеспечивая компромисс между чистым SGD и пакетным градиентным спуском.
Импульс
Техника ускорения SGD, которая добавляет долю предыдущего вектора обновления к текущему вектору для преодоления колебаний и ускорения сходимости в соответствующих направлениях.
Расписание скорости обучения
Стратегия, которая динамически корректирует скорость обучения в процессе обучения для улучшения сходимости, включая методы ступенчатого затухания, экспоненциального затухания и косинусного отжига.
Проблема взрыва градиента
Проблема, при которой градиенты становятся чрезмерно большими во время обучения, вызывая нестабильное обновление параметров и расхождение алгоритма обучения.
Локальные минимумы
Точка в пространстве параметров, где функция потерь достигает минимального значения в локальной окрестности, но не обязательно глобального минимума.
Глобальные оптимумы
Точка в пространстве параметров, где функция потерь достигает своего наименьшего значения на всей области определения, представляющая оптимальное решение задачи оптимизации.
Ускоренный градиент Нестерова
Улучшенный вариант метода импульса, который вычисляет градиент в прогнозируемой позиции, а не в текущей, обеспечивая теоретически более быструю сходимость.