AdaDelta

Историческое накопление

Процесс хранения и накопления информации о прошлых градиентах для динамической адаптации скоростей обучения. В AdaDelta это накопление ограничено скользящим окном, чтобы избежать бесконечного убывания скорости обучения.

← Назад