AdaDelta

Гиперпараметр Rho

Единственный параметр AdaDelta (обычно устанавливается на 0.95), контролирующий скорость экспоненциального затухания скользящего окна. Этот параметр определяет баланс между недавней и исторической информацией в вычислениях обновлений.

← Назад