Глоссарий ИИ
Полный словарь искусственного интеллекта
L1-регуляризация
Техника регуляризации, которая добавляет штраф, равный абсолютному значению коэффициентов модели, способствуя разреженности и автоматически устраняя нерелевантные признаки.
L2-регуляризация
Метод штрафа, который добавляет член, пропорциональный квадрату коэффициентов, уменьшая их величину, не полностью обнуляя их для борьбы с переобучением.
Elastic Net
Линейная комбинация L1 и L2 регуляризаций, которая наследует свойства выбора переменных Lasso и стабильность Ridge, особенно эффективна в присутствии коррелированных признаков.
Гиперпараметр лямбда
Параметр регуляризации, контролирующий интенсивность штрафа, применяемого к коэффициентам, где lambda=0 соответствует отсутствию регуляризации, а высокое значение лямбда увеличивает ограничение.
L1-норма
Векторная норма, вычисляемая как сумма абсолютных значений компонентов, используется как член штрафа в L1-регуляризации для индукции разреженности.
L2-норма
Евклидова норма, вычисляемая как квадратный корень из суммы квадратов компонентов, используется в L2-регуляризации для штрафования больших коэффициентов.
Сокращение
Процесс систематического уменьшения величины коэффициентов модели к нулю для уменьшения сложности и улучшения обобщения.
Дилемма смещения-дисперсии
Фундаментальный компромисс в машинном обучении между уменьшением смещения (систематическая ошибка) и уменьшением дисперсии (чувствительность к флуктуациям данных).
Коэффициент альфа
Параметр смешивания в Elastic Net, варьирующийся между 0 (чистая регуляризация L2) и 1 (чистая регуляризация L1) для настройки относительной пропорции двух штрафов.
Путь регуляризации
Траектория решений модели при изменении параметра регуляризации, позволяющая анализировать эволюцию коэффициентов и их постепенный отбор.
Вектор весов
Набор мультипликативных коэффициентов, применяемых к признакам в линейной модели, величина которых контролируется методами регуляризации.
Групповой штраф
Расширение регуляризации L1/L2, которое штрафует группы коэффициентов одновременно, полезно для управления категориальными или структурированными переменными.
Адаптивная регуляризация
Вариант регуляризации, при котором каждый коэффициент получает индивидуальный штраф на основе предварительных оценок, позволяющий более точный отбор переменных.
Информационный критерий
Метрики, такие как AIC или BIC, которые сбалансируют подгонку модели и ее сложность, часто используются для выбора оптимального параметра регуляризации.
Регуляризованный градиентный спуск
Алгоритм оптимизации, включающий штрафные члены L1/L2 непосредственно в целевую функцию для эффективного обучения регуляризированных моделей.
Координатный спуск
Метод оптимизации, особенно эффективный для регуляризации L1, который обновляет коэффициенты один за другим аналитическим способом.