Методы адаптивного темпа обучения

Экспоненциальное скользящее среднее (EMA)

Техника сглаживания, придающая больший вес недавним наблюдениям, используемая в адаптивных оптимизаторах для оценки моментов градиентов.

← Назад