Глоссарий ИИ
Полный словарь искусственного интеллекта
Регуляризация Elastic Net
Комбинация регуляризаций L1 и L2, использующая параметр смешивания для одновременного использования преимуществ отбора переменных (L1) и стабилизации коэффициентов (L2).
Гиперпараметр регуляризации (λ)
Скалярный параметр, контролирующий силу штрафа в методах регуляризации, балансирующий подгонку под данные и сложность модели.
Фактор регуляризации
Множитель, применяемый к члену регуляризации в целевой функции, определяющий относительный вес штрафа по сравнению с ошибкой аппроксимации.
Смещение регуляризации
Систематическое искажение, вносимое регуляризацией в оценки параметров, необходимое для уменьшения дисперсии и улучшения обобщающей способности.
Штраф Фробениуса
Член матричной регуляризации, основанный на норме Фробениуса, накладывающий штраф на сумму квадратов всех элементов матрицы для контроля её сложности.
Ядерная регуляризация
Штраф, основанный на ядерной норме (сумме сингулярных значений), способствующий получению матриц низкого ранга, что особенно полезно при заполнении матриц.
Кросс-валидация для λ
Систематическая процедура оценки, использующая различные разбиения данных для выбора оптимального значения гиперпараметра регуляризации λ.
Вырождение факторов
Проблема, при которой латентные факторы становятся сколь угодно большими по амплитуде без улучшения качества аппроксимации, требующая регуляризации для ограничения их нормы.
Регуляризация следа
Член штрафа, основанный на следе (сумме диагональных элементов) матрицы, используемый для контроля глобального масштаба факторов при разложении.
Коэффициент разреженности
Параметр, контролирующий интенсивность L1-регуляризации и определяющий желаемый уровень разреженности в представлении латентных факторов.
Штраф Тихонова
Обобщенная форма L2-регуляризации, применяемая к обратным задачам, стабилизирующая решение путем штрафования нормы параметров в соответствии с заранее определенной весовой матрицей.
Адаптивная настройка регуляризации
Метод, при котором параметр регуляризации изменяется динамически в зависимости от локальной структуры данных, применяя дифференцированное штрафование по областям пространства.