Моментум

Затухающие колебания

Постепенное уменьшение флуктуаций вокруг оптимального направления спуска благодаря накоплению импульса в согласованных направлениях. Этот механизм особенно стабилизирует оптимизацию в узких долинах, где градиенты сильно коррелированы.

← Назад