Стохастический градиентный спуск

Горячий перезапуск

Стратегия обучения, которая периодически сбрасывает скорость обучения до высокого значения, сохраняя при этом веса модели, чтобы избежать локальных минимумов. Горячие перезапуски с косинусным затуханием (SGDR) улучшают исследование пространства параметров.

← Назад