Моментум

Классический импульс

Техника оптимизации, которая накапливает прошлые градиенты с фактором затухания для создания инерции в обновлениях весов. Этот подход позволяет ускорить сходимость в постоянных направлениях, одновременно ослабляя колебания.

← Назад