Глоссарий ИИ
Полный словарь искусственного интеллекта
Автоматическое дифференцирование
Алгоритмическая техника для эффективного вычисления производных функций, заданных компьютерными программами, основанная на правиле дифференцирования сложной функции и вычислительном графе операций.
Вычислительный граф
Структура данных, представляющая зависимости между математическими операциями в модели, позволяющая прямое распространение и автоматическое вычисление градиентов методом обратного распространения ошибки.
Методы уменьшения дисперсии
Методы, такие как SVRG (стохастический градиент с уменьшенной дисперсией) или SAGA, которые снижают дисперсию оценок градиента для ускорения сходимости при сохранении вычислительной эффективности.
Стохастические методы Ньютона
Алгоритмы оптимизации второго порядка, адаптирующие метод Ньютона к стохастической постановке, использующие аппроксимации матрицы Гессе для более информативных направлений спуска.
Произведения Гессе на вектор
Эффективное вычисление произведения матрицы Гессе на вектор без явного построения полной матрицы Гессе, что является ключевым для крупномасштабных методов оптимизации второго порядка.