Глоссарий ИИ
Полный словарь искусственного интеллекта
Adagrad
Адаптивный алгоритм оптимизации, который динамически корректирует скорость обучения для каждого параметра на основе истории накопленных градиентов. Он позволяет выполнять большие обновления для редко встречающихся параметров и меньшие обновления для часто встречающихся.
RMSprop
Метод оптимизации, который решает проблему чрезмерного уменьшения скорости обучения Adagrad, используя экспоненциальное скользящее среднее квадратов градиентов. RMSprop поддерживает адаптивную скорость обучения без резкого уменьшения.
Décroissance du taux d'apprentissage
Техника регуляризации, которая постепенно уменьшает скорость обучения во время тренировки для обеспечения более точной сходимости к оптимальному значению. Уменьшение помогает стабилизировать оптимизацию на финальных этапах обучения.
Bruit de gradient
Внутренняя статистическая изменчивость оценок градиента в стохастических методах из-за случайной выборки данных. Шум может помочь избежать локальных минимумов, но требует методов для контроля его дисперсии.
Variance du gradient
Мера рассеяния оценок градиента в стохастических методах, напрямую влияющая на стабильность оптимизации. Снижение дисперсии является ключевой задачей для повышения эффективности стохастических алгоритмов.
Taille de batch
Количество образцов, используемых для вычисления каждой оценки градиента в методах мини-пакетов. Размер пакета влияет на компромисс между вычислительной эффективностью, качеством оценки градиента и обобщением.
Époque
Полный цикл обучения, в котором каждый образец из набора данных используется ровно один раз для обновления параметров. Эпохи позволяют структурировать обучение и контролировать прогресс обучения.
Méthode de Robbins-Monro
Фундаментальный алгоритм стохастической аппроксимации, который сходится к нулям функции, используя зашумленные наблюдения и убывающие шаги. Этот метод является теоретической основой современной стохастической градиентной спуска.