AdamW

Адаптивная нормализация

Деление градиента на квадратный корень из его момента второго порядка для нормализации амплитуды обновлений в соответствии с историей градиентов.

← Назад