Оптимизатор Adam

AMSGrad

Модификация Adam, которая поддерживает максимум оценок второго момента для обеспечения теоретической сходимости, избегая немонотонных увеличений эффективных скоростей обучения.

← Назад