Глоссарий ИИ
Полный словарь искусственного интеллекта
Проксимальный оператор
Оператор, который обобщает проецирование на выпуклое множество, определяется как argmin_y{f(y) + (1/2λ)||y-x||²}. Позволяет эффективно решать задачи оптимизации с недифференцируемыми регуляризаторами, такими как L1-норма.
Проксимальная функция
Выпуклая полунепрерывная снизу функция, для которой проксимальный оператор хорошо определён. Включает замкнутые выпуклые функции, такие как L1-норма, индикаторная функция выпуклых множеств и групповые штрафы.
Алгоритм ISTA
Iterative Soft-Thresholding Algorithm, специфический проксимальный метод для L1-регуляризации. Выполняет шаг градиента с последующим мягким пороговым преобразованием для наложения разреженности в решениях.
Алгоритм FISTA
Fast Iterative Soft-Thresholding Algorithm, ускоренная версия ISTA, использующая техники ускорения Нестерова. Достигает оптимальной скорости сходимости O(1/k²) для выпуклых задач с L1-регуляризацией.
Ускорение Нестерова
Техника ускорения для методов градиентного первого порядка, использующая члены инерциальной памяти. Значительно улучшает сходимость с O(1/k) до O(1/k²) для выпуклых задач.
Условие Липшица
Предположение, что градиент целевой функции является L-липшицевым непрерывным, гарантируя устойчивую сходимость. Определяет максимальный размер шага, допустимый в проксимальных методах.
Регуляризация Моро-Иосиды
Техника сглаживания недифференцируемых выпуклых функций посредством квадратичной свёртки. Создаёт функции класса C1, сохраняя исходные минимумы через огибающую Моро.
Структурированные задачи
Задачи оптимизации с определённой структурой, используемой проксимальными методами. Включают групповые регуляризаторы, смешанные нормы и сложные структурные ограничения.
Проксимальный ADMM
Метод чередования направлений множителей с проксимальным оператором, адаптированный для сложных ограничений. Разлагает проблему на более простые подзадачи, решаемые поочередно с обновлением множителя.
Линейная сходимость
Геометрическая скорость сходимости, где ошибка уменьшается экспоненциально с числом итераций. Достигается проксимальными методами при условиях сильной выпуклости или ограниченной среднеквадратичной ошибки.
Переменный размер шага
Адаптивная стратегия выбора размера шага обучения в проксимальных методах. Техники, такие как обратный поиск по прямой, оптимизируют сходимость, динамически корректируя λ в соответствии с локальной кривизной.
Стохастический проксимальный градиент
Стохастическая версия проксимального градиента, использующая мини-пакеты для крупномасштабных задач. Сочетает вычислительную эффективность SGD с обработкой недифференцируемых регуляризаторов.
Проксимальная неподвижная точка
Формулировка проксимальных методов как итераций неподвижной точки на сжимающем операторе. Гарантирует единственную сходимость при условиях Липшица и соответствующей выпуклости.
Композитная оптимизация
Оптимизация композитных целевых функций, сочетающих гладкие и негладкие члены. Основная область применения проксимальных градиентных методов в статистическом обучении и обработке сигналов.