Моментум

Скорость градиента

Вектор, накапливающий взвешенные градиенты предыдущих итераций, представляющий направление и скорость спуска в пространстве параметров. Скорость обновляется на каждой итерации линейной комбинацией текущего градиента и предыдущей скорости.

← Назад