AdaDelta

Масштабирование параметров

Процесс динамической настройки амплитуды обновлений для каждого параметра в зависимости от их истории градиентов. AdaDelta использует скользящее среднее прошлых обновлений для определения этого адаптивного масштаба.

← Назад