AdamW

Гиперпараметры beta1 и beta2

Коэффициенты, управляющие соответственно экспоненциальным затуханием моментов первого и второго порядка в алгоритме AdamW.

← Назад