Adagrad

Смещение коррекции

Механизм в Adam и его вариантах, исправляющий начальную смещенную оценку первого и второго моментов из-за нулевой инициализации экспоненциальных скользящих средних.

← Назад