Adagrad

Норма градиента

Мера величины вектора градиента, используемая в Adagrad для определения того, подвергался ли параметр значительным обновлениям в истории и поэтому требует адаптивной настройки скорости обучения.

← Назад