AdamW

Момент второго порядка

Экспоненциальное скользящее среднее квадратов градиентов, оценивающее дисперсию для адаптации скорости обучения в соответствии с локальной кривизной.

← Назад