Глоссарий ИИ
Полный словарь искусственного интеллекта
Нормализация весов
Ограничение, применяемое к весам нейронной сети для поддержания их величины в заданном диапазоне, стабилизирующее обучение и улучшающее обобщение.
Затухание весов
Штрафной член, добавляемый к обновлению весов во время оптимизации, постепенно уменьшающий их величину для противодействия переобучению.
Спектральная регуляризация
Ограничение, накладываемое на наибольшее сингулярное значение весов слоя, ограничивающее чувствительность модели и улучшающее её устойчивость к возмущениям.
Групповая регуляризация (Group Lasso)
Расширение Lasso, применяющее штраф L2 к предопределённым группам коэффициентов и L1 между группами, позволяющее структурированный отбор переменных.
Ограничение структурной разреженности
Наложение специфических схем нулей в матрице весов модели, сохраняющее важные структуры, такие как пространственная или временная локальность.
Регуляризация ядерным следом
Штраф, основанный на сумме сингулярных значений весов, способствующий матрицам низкого ранга и снижающий сложность модели.
Ограничение ортогональности
Наложение ортогональности между векторами весов или фильтрами, уменьшающее избыточность и улучшающее разнообразие изучаемых характеристик.
Регуляризация полной вариацией
Ограничение, штрафующее резкие изменения в параметрах модели, способствующее более гладким и пространственно согласованным решениям.
Ограничение низкого ранга
Прямое наложение ограничения на ранг матриц весов, уменьшающее количество эффективных параметров и вычислительную сложность.
Ограничение положительности
Наложение ограничений, обеспечивающих неотрицательность определенных параметров модели, что важно для физических или биологических приложений.
Регуляризация по градиенту
Штрафование на основе нормы градиента выхода по входу, ограничивающее локальную чувствительность модели к вариациям.