Глоссарий ИИ
Полный словарь искусственного интеллекта
SGD на основе импульса
Вариант SGD, включающий память предыдущих обновлений для сглаживания колебаний и ускорения сходимости в согласованных направлениях градиента.
Мини-пакетный SGD
Компромисс между SGD и пакетным градиентом, использующий небольшие подмножества данных для оценки градиентов, что обеспечивает лучший баланс между скоростью сходимости и численной стабильностью.
Ускоренный градиент Нестерова (NAG)
Улучшенный вариант Momentum, выполняющий шаг прогноза перед вычислением градиента, что приводит к теоретически лучшей сходимости и лучшей численной стабильности.
AdamW
Модификация Adam, разделяющая затухание весов и адаптивное обновление, что улучшает обобщение и стабильность в условиях непрерывного обучения.
AdaMax
Расширение Adam, использующее бесконечную норму прошлых градиентов вместо L2-нормы, обеспечивающее лучшую численную стабильность в некоторых экстремальных случаях последовательных данных.
Nadam
Комбинация импульса Нестерова и Adam, интегрирующая ускорение Нестерова в адаптивный механизм Adam для потенциально более быстрой сходимости.