Глоссарий ИИ
Полный словарь искусственного интеллекта
Проектированный градиентный спуск
Итерационный алгоритм оптимизации, который выполняет шаг градиентного спуска с последующей проекцией на допустимое множество ограничений для обеспечения выполнимости на каждой итерации.
Допустимое множество
Подмножество пространства поиска, определенное ограничениями задачи оптимизации, содержащее все решения, удовлетворяющие набору наложенных условий.
Проекция на выпуклое множество
Математическая операция, которая сопоставляет каждой точке пространства ближайшую точку заданного выпуклого множества согласно указанной норме, обычно евклидовой.
Ограничения-неравенства
Ограничения вида g(x) ≤ 0, определяющие области пространства поиска, где решения являются допустимыми, преобразуемые в допустимые множества для оптимизации.
Адаптивный шаг
Стратегия динамической настройки скорости обучения в алгоритмах спуска, оптимизирующая сходимость путем адаптации длины шагов в соответствии с локальной геометрией задачи.
Сходимость при ограничениях
Свойство алгоритма оптимизации, гарантирующее сходимость к стационарной точке, удовлетворяющей всем наложенным ограничениям в исходной задаче.
Область доверия
Метод оптимизации, ограничивающий каждую итерацию областью, где локальная модель целевой функции считается надежной, динамически настраивая размер этой области.
Задача выпуклой оптимизации
Класс оптимизации, в котором целевая функция является выпуклой и допустимое множество выпукло, гарантируя существование единственного глобального минимума и сходимость алгоритмов.
Стохастический проецированный градиент
Вариант проецированного градиентного спуска, использующий зашумленные оценки градиента, вычисленные на случайных подмножествах данных для ускорения вычислений на больших наборах.
Метод пучка
Алгоритм негладкой оптимизации, накапливающий информацию о прошлых градиентах для построения кусочно-линейной модели, улучшающей направление поиска на каждой итерации.
Допустимое направление
Направление перемещения из допустимой точки, сохраняющее удовлетворение ограничений на небольшом расстоянии, фундаментальное для обеспечения допустимости итераций.
Барьерная функция
Штрафная функция, стремящаяся к бесконечности при приближении к границам допустимого множества, заставляющая итерации оставаться строго внутри допустимой области.
Двойственность в оптимизации
Математический принцип, устанавливающий связь между прямой задачей оптимизации и ее двойственной задачей, позволяющий альтернативные подходы и границы на оптимальное значение.
Алгоритм Франка-Вульфа
Метод оптимизации с ограничениями, избегающий дорогостоящих проекций путем решения на каждой итерации задачи линейной оптимизации на допустимом множестве.
Проксимальное отображение
Оператор, обобщающий проекцию, минимизирующий комбинацию целевой функции и проксимального члена регуляризации, существенный для негладкой оптимизации.