Глоссарий ИИ
Полный словарь искусственного интеллекта
Weight Decay
Регуляризация L2, добавляющая штраф, пропорциональный сумме квадратов весов, в функцию потерь. Ограничивает веса, стремя их к нулю, для уменьшения сложности модели и предотвращения переобучения.
Early Stopping
Преждевременная остановка обучения, когда производительность на валидационном наборе перестает улучшаться. Предотвращает переобучение путем отслеживания потерь на валидации и сохранения лучших весов.
L1 Regularization
Штраф, добавляемый к функции потерь, равный сумме абсолютных значений весов. Способствует разреженности, подталкивая некоторые веса точно к нулю, выполняя автоматический отбор признаков.
L2 Regularization
Квадратичный штраф на веса, который уменьшает их величину, не обнуляя их полностью. Стабилизирует обучение и улучшает обобщение, ограничивая сложность модели.
Gradient Clipping
Ограничение нормы градиента для предотвращения взрыва градиентов в глубоких сетях. Поддерживает числовую стабильность, ограничивая градиенты заранее заданным максимальным значением.
Learning Rate Scheduling
Динамическая настройка скорости обучения в процессе обучения согласно предопределенным стратегиям. Включает экспоненциальное затухание, уменьшение при плато и косинусоидное расписание для оптимизации сходимости.
Momentum Optimization
Ускоритель оптимизации, накапливающий вектор скорости для преодоления локальных минимумов и плато. Вводит инерцию в градиентный спуск для более стабильной и быстрой сходимости.
Adam Optimizer
Адаптивный алгоритм оптимизации, объединяющий импульс и RMSprop для индивидуальных скоростей обучения по параметрам. Автоматически настраивает скорости обучения на основе моментов первого и второго порядка.
Пространственный Dropout
Вариант Dropout, отключающий целые карты признаков вместо отдельных нейронов. Особенно эффективен для CNN, где коррелированные пространственные признаки должны быть регуляризованы вместе.
Стохастическая глубина
Техника случайного пропуска слоев во время обучения в очень глубоких сетях. Уменьшает переобучение и улучшает распространение градиента, варьируя эффективную глубину сети.
Сглаживание меток
Регуляризация целевых меток путём распределения небольшой вероятности на неправильные классы. Предотвращает избыточную уверенность модели и улучшает калибровку прогнозов, сглаживая целевое распределение.
Mixup
Техника регуляризации, создающая новые образцы путём линейной интерполяции изображений и их меток. Побуждает модель вести себя линейно между примерами, улучшая робастность и обобщение.
CutMix
Аугментация данных, вырезающая и вставляющая патчи между изображениями с пропорциональной интерполяцией меток. Эффективно комбинирует пространственные признаки, сохраняя локализацию объектов.
Регуляризация Elastic Net
Выпуклая комбинация регуляризаций L1 и L2 для извлечения преимуществ обоих подходов. Сохраняет разреженность L1, поддерживая числовую стабильность L2.
RMSprop
Адаптивный оптимизатор, делящий градиент на скользящее среднее его квадратной величины. Особенно эффективен для нестационарных сетей и сложных задач оптимизации.