Глоссарий ИИ
Полный словарь искусственного интеллекта
Историческое накопление
Процесс хранения и накопления информации о прошлых градиентах для динамической адаптации скоростей обучения. В AdaDelta это накопление ограничено скользящим окном, чтобы избежать бесконечного убывания скорости обучения.
Коэффициент затухания
Параметр (обычно между 0.9 и 0.999), контролирующий скорость, с которой влияние прошлых градиентов экспоненциально уменьшается. Этот фактор определяет эффективный размер скользящего окна в адаптивных алгоритмах, таких как AdaDelta.
Нормализация градиента
Процесс масштабирования градиентов с использованием исторической статистики для стабилизации обучения. AdaDelta нормализует градиенты, деля их на квадратный корень из скользящего среднего их квадратов.
Согласованные единицы
Основной принцип AdaDelta, согласно которому обновления имеют те же единицы измерения, что и параметры, что устраняет необходимость в глобальной скорости обучения. Этот подход использует соотношение между скользящими средними прошлых обновлений и текущих градиентов.
Масштабирование параметров
Процесс динамической настройки амплитуды обновлений для каждого параметра в зависимости от их истории градиентов. AdaDelta использует скользящее среднее прошлых обновлений для определения этого адаптивного масштаба.
Условия сходимости
Математические критерии, гарантирующие, что алгоритм оптимизации достигнет локального или глобального оптимума. Адаптивные алгоритмы, такие как AdaDelta, изменяют эти условия, динамически меняя направление и величину шагов оптимизации.
Состояние оптимизации
Дополнительная информация, хранящаяся адаптивными алгоритмами для вычисления будущих обновлений. AdaDelta поддерживает два состояния: скользящее среднее квадратов градиентов и скользящее среднее квадратов обновлений.
Гиперпараметр Rho
Единственный параметр AdaDelta (обычно устанавливается на 0.95), контролирующий скорость экспоненциального затухания скользящего окна. Этот параметр определяет баланс между недавней и исторической информацией в вычислениях обновлений.