AdaDelta

Нормализация градиента

Процесс масштабирования градиентов с использованием исторической статистики для стабилизации обучения. AdaDelta нормализует градиенты, деля их на квадратный корень из скользящего среднего их квадратов.

← Назад