Глоссарий ИИ
Полный словарь искусственного интеллекта
Задача квадратичной оптимизации
Математическая формулировка задачи SVM, цель которой — минимизировать квадратичную функцию при линейных ограничениях, для решения которой требуются специализированные алгоритмы.
Стохастический градиент
Метод оптимизации, который обновляет параметры модели, используя за раз только один образец для аппроксимации градиента, что обеспечивает быструю сходимость на больших наборах данных.
Ядерная функция (Kernel)
Математическая функция, позволяющая неявно преобразовать данные в пространство более высокой размерности, где они становятся линейно разделимыми, без явного вычисления этого преобразования.
Дуальные переменные
Множители Лагранжа в дуальной формулировке задачи SVM, которые определяют важность каждого опорного вектора в построении разделяющей гиперплоскости.
Условия Каруша-Куна-Таккера (KKT)
Необходимые и достаточные условия оптимальности в задачах оптимизации с ограничениями, используемые для проверки сходимости алгоритмов оптимизации SVM.
Гиперпараметры SVM
Параметры, не обучаемые моделью, которые должны быть настроены перед обучением, в частности параметр регуляризации C и параметры ядерной функции.
Метод внутренних точек
Алгоритм оптимизации, решающий квадратичную задачу SVM путем обхода внутренней области допустимых значений, обеспечивающий гарантированную полиномиальную сходимость для выпуклых задач.
Функция потерь Hinge
Выпуклая функция потерь, используемая в SVM, которая штрафует за неверные классификации и за те, что находятся близко к границе решения, способствуя максимальному зазору.
Метод Ньютона
Алгоритм оптимизации второго порядка, использующий матрицу Гессе для более быстрого нахождения минимума целевой функции SVM, особенно эффективный для задач среднего размера.
Алгоритм покоординатного спуска
Метод оптимизации, который минимизирует целевую функцию путем оптимизации одной координаты за раз, в то время как остальные остаются фиксированными, используется в некоторых эффективных реализациях SVM.
Блочная декомпозиция
Стратегия оптимизации, которая делит задачу SVM на более мелкие подзадачи, решаемые последовательно, что снижает требования к памяти для больших наборов данных.