Глоссарий ИИ
Полный словарь искусственного интеллекта
Градиентный спуск
Итеративный алгоритм оптимизации, который следует в направлении, противоположном градиенту, для минимизации функции.
Стохастический градиентный спуск
Вариант градиентного спуска, использующий один случайный пример на каждой итерации.
Мини-пакетный градиентный спуск
Компромисс между GD и SGD, использующий небольшие пакеты примеров для обновления параметров.
Моментум
Техника, ускоряющая сходимость путем добавления компоненты инерции к обновлениям градиента.
Ускоренный градиент Нестерова
Вариант импульса, который предсказывает будущее положение для более точных обновлений
Adagrad
Адаптивная скорость обучения, основанная на исторической сумме квадратов градиентов.
RMSprop
Адаптивный метод, использующий скользящее среднее квадратов градиентов для нормализации обновлений.
Оптимизатор Adam
Комбинация момента и RMSprop с адаптивными оценками первого и второго моментов.
AdamW
Вариант Adam с разделенной L2-регуляризацией для улучшения производительности.
AdaDelta
Расширение Adagrad, ограничивающее историческое накопление для стабильной скорости обучения.
Методы Ньютона
Алгоритмы, использующие матрицу Гессе для локальной квадратичной сходимости.
BFGS и L-BFGS
Квази-Ньютоновские методы, аппроксимирующие гессиан с ограниченной памятью (L-BFGS).
Метод сопряжённых градиентов
Эффективный итерационный метод для больших линейных систем и нелинейной оптимизации.
Проектированный градиентный спуск
Техника оптимизации с ограничениями путем проектирования на допустимое множество.
Методы проксимального градиента
Алгоритмы, сочетающие градиентный спуск и проксимальный оператор для негладких функций.