Оптимизатор Adam

Второй момент

Экспоненциальное скользящее среднее квадратов градиентов в Adam, представляющее оценку второго нецентрированного статистического момента (нецентрированной дисперсии), которая адаптирует величину обновлений.

← Назад