Глоссарий ИИ
Полный словарь искусственного интеллекта
235
категории
2 988
подкатегории
33 628
термины
термины
Горячий перезапуск
Стратегия обучения, которая периодически сбрасывает скорость обучения до высокого значения, сохраняя при этом веса модели, чтобы избежать локальных минимумов. Горячие перезапуски с косинусным затуханием (SGDR) улучшают исследование пространства параметров.
термины
RAdam
Выправленный вариант Адама, который исправляет дисперсию адаптивных весов во время начальных фаз разогрева обучения. RAdam объединяет теоретические преимущества SGD с практической производительностью Адама, обеспечивая более стабильную сходимость в начале обучения.
🔍