Согласованные единицы

Основной принцип AdaDelta, согласно которому обновления имеют те же единицы измерения, что и параметры, что устраняет необходимость в глобальной скорости обучения. Этот подход использует соотношение между скользящими средними прошлых обновлений и текущих градиентов.

← Назад