Глоссарий ИИ
Полный словарь искусственного интеллекта
Первый момент
Экспоненциальное скользящее среднее градиентов в Adam, представляющее оценку первого статистического момента (среднего значения), которое направляет обновление параметров.
Второй момент
Экспоненциальное скользящее среднее квадратов градиентов в Adam, представляющее оценку второго нецентрированного статистического момента (нецентрированной дисперсии), которая адаптирует величину обновлений.
Beta1
Гиперпараметр Adam, контролирующий скорость экспоненциального затухания для скользящего среднего первого момента (градиента), обычно устанавливается на 0.9 для балансировки между новизной и историей.
Beta2
Гиперпараметр Adam, контролирующий скорость экспоненциального затухания для скользящего среднего второго момента (квадрата градиента), обычно устанавливается на 0.999 для стабильной оценки дисперсии.
AMSGrad
Модификация Adam, которая поддерживает максимум оценок второго момента для обеспечения теоретической сходимости, избегая немонотонных увеличений эффективных скоростей обучения.
Расписание затухания
Стратегия постепенного уменьшения скорости обучения в Adam, часто используемая для точной сходимости в последних фазах обучения путем уменьшения размера шага.