Глоссарий ИИ
Полный словарь искусственного интеллекта
Стохастический градиентный спуск (SGD)
Базовый алгоритм оптимизации, который обновляет параметры, используя случайную выборку на каждой итерации.
Мини-пакетный градиентный спуск
Вариант SGD, использующий небольшие пакеты выборок для балансировки дисперсии и вычислительной эффективности.
Оптимизация на основе импульса
Техники, использующие инерцию для ускорения сходимости и снижения колебаний в узких долинах.
Методы адаптивного темпа обучения
Алгоритмы, такие как Adam и RMSprop, которые динамически настраивают темп обучения для каждого параметра.
Методы снижения дисперсии
Методы, такие как SVRG и SAGA, которые снижают дисперсию оценок градиента для улучшения сходимости.
Распределенный SGD
Подходы, распараллеливающие SGD на нескольких машинах для ускорения обучения крупномасштабных моделей.
Невыпуклая оптимизация
Специализированные методы для оптимизации типичных невыпуклых функций в глубоких нейронных сетях.
Планирование скорости обучения
Стратегии изменения скорости обучения в процессе обучения для оптимизации сходимости.
Стохастические методы второго порядка
Алгоритмы, использующие приближенную информацию второго порядка для ускорения сходимости.
Оптимизация федеративного обучения
Адаптированные методы SGD для распределенного обучения с сохранением конфиденциальности на децентрализованных данных.
Робастная стохастическая оптимизация
Техники, делающие оптимизацию устойчивой к зашумленным данным и состязательным атакам.
Оптимизация онлайн-обучения
Варианты SGD, адаптированные для сценариев, в которых данные поступают последовательно и требуют непрерывного обновления.