Оптимизатор Adam

Первый момент

Экспоненциальное скользящее среднее градиентов в Adam, представляющее оценку первого статистического момента (среднего значения), которое направляет обновление параметров.

← Назад