Adagrad
Диагональный масштабирующий множитель
Диагональная матрица, предобуславливающая градиент в Adagrad, каждый элемент которой представляет квадратный корень из накопленной суммы квадратов градиентов для каждого отдельного параметра.
← Назад