Глоссарий ИИ
Полный словарь искусственного интеллекта
Матрица Гессе
Матрица квадратных вторых частных производных скалярной функции, содержащая информацию о локальной кривизне, используемую для улучшения сходимости.
Направление Ньютона
Вектор поиска, вычисляемый как обратная матрица Гессе, умноженная на градиент, указывающий оптимальное направление спуска согласно локальной квадратичной аппроксимации.
Шаг Ньютона
Итерационное обновление x_{k+1} = x_k - H^{-1}(x_k)∇f(x_k), где H - матрица Гессе, реализующее квадратичную аппроксимацию и точное решение локальной подзадачи.
Метод Ньютона-Рафсона
Историческая версия метода Ньютона, первоначально разработанная для решения нелинейных уравнений, затем обобщенная на многомерную оптимизацию.
Разложение Тейлора второго порядка
Локальная аппроксимация функции её разложением Тейлора второго порядка, теоретическое основание, оправдывающее использование матрицы Гессе в методах Ньютона.
Регуляризация матрицы Гессе
Техника добавления члена λI к матрице Гессе для гарантии её положительной определённости, избегая недействительных направлений спуска, когда матрица плохо обусловлена.
Квазиньютоновские методы
Класс алгоритмов, аппроксимирующих матрицу Гессе или её обратную из последовательной информации о градиенте, избегая прямых вычислительных затрат вторых производных.
Алгоритм BFGS
Популярный квазиньютоновский метод (Бройден-Флетчер-Гольдфарб-Шанно), строящий аппроксимацию обратной матрицы Гессе, гарантирующую положительную определённость по построению.
Алгоритм ДФП
Первый квазиньютоновский метод (Дэвидона-Флетчера-Пауэлла), использующий симметричную формулу обновления для аппроксимации обратной матрицы Гессе с сохранением положительной определённости.
Метод Гаусса-Ньютона
Специализированный алгоритм для нелинейных задач наименьших квадратов, аппроксимирующий матрицу Гессе через J^TJ, где J - матрица Якоби остатков.
Метод Левенберга-Марквардта
Гибридный алгоритм, интерполирующий между методом Гаусса-Ньютона и градиентным спуском, использующий параметр демпфирования для контроля регуляризации.
Критическая точка
Точка, где градиент обращается в нуль (∇f(x*) = 0), определяемая методами Ньютона как кандидат на локальный минимум, максимум или седловую точку.
Условие Вольфа
Критерий выбора шага в методах Ньютона с линейным поиском, гарантирующий достаточное уменьшение функции при сохранении адекватной кривизны.
Линейный поиск
Подзадача определения оптимальной длины шага в заданном направлении, существенная для обеспечения глобальной сходимости методов Ньютона.
Усечённый алгоритм Ньютона
Вариант, приближенно решающий линейную систему H d = -∇f с помощью итерационных методов, таких как сопряжённые градиенты, адаптированный для крупномасштабных задач.
Разреженная матрица Гессе
Матрица Гессе, содержащая преимущественно нули, позволяющая значительные вычислительные оптимизации в методах Ньютона для структурированных задач.