Adagrad

Диагональный масштабирующий множитель

Диагональная матрица, предобуславливающая градиент в Adagrad, каждый элемент которой представляет квадратный корень из накопленной суммы квадратов градиентов для каждого отдельного параметра.

← Назад