Глоссарий ИИ
Полный словарь искусственного интеллекта
Смещение
Систематическая ошибка, возникающая из-за слишком упрощающих предположений в модели обучения, приводящая к недообучению. Высокое смещение указывает на то, что модель не способна уловить сложные взаимосвязи в обучающих данных.
Дисперсия
Мера чувствительности модели к случайным флуктуациям в обучающем наборе, вызывающая переобучение. Высокая дисперсия означает, что модель улавливает шум данных, а не основную тенденцию.
Компромисс между смещением и дисперсией
Фундаментальная дилемма в машинном обучении, где уменьшение смещения обычно увеличивает дисперсию, и наоборот. Оптимизация этого компромисса позволяет найти правильный баланс для минимизации общей ошибки обобщения.
Ошибка обобщения
Мера производительности модели на невидимых данных, критически важная для оценки её способности правильно прогнозировать на новых выборках. Согласно теории смещения-дисперсии, она разбивается на квадрат смещения, дисперсию и неустранимую ошибку.
Кривая обучения
График, показывающий изменение производительности модели в зависимости от размера обучающего набора, позволяющий диагностировать проблемы смещения и дисперсии. Анализ этой кривой помогает определить, необходимо ли добавление данных или настройка сложности модели.
Регуляризация
Набор техник, направленных на контроль сложности модели для уменьшения дисперсии и предотвращения переобучения. Регуляризация L1 и L2 добавляет штрафные члены к функции потерь для ограничения амплитуды коэффициентов модели.
Сложность модели
Мера способности модели адаптироваться к сложным функциям, напрямую связанная с компромиссом смещение-дисперсия. Сложность можно контролировать через количество параметров, глубину нейронных сетей или степень полиномов.
Ошибка аппроксимации
Часть ошибки, обусловленная неспособностью выбранного семейства моделей идеально представлять истинную базовую функцию. Эта ошибка, связанная со смещением, сохраняется даже при бесконечном количестве обучающих данных.
Ошибка оценки
Ошибка, возникающая при использовании конечной выборки данных для оценки оптимальных параметров модели. Эта компонента ошибки напрямую связана с дисперсией и уменьшается с увеличением размера обучающих данных.
Кривая валидации
Инструмент диагностики, визуализирующий производительность модели в зависимости от изменений гиперпараметров или сложности. Кривая валидации помогает определить оптимальную точку, где разрыв между производительностью обучения и валидации минимален.
Ранняя остановка
Метод регуляризации, заключающийся в прекращении обучения до сходимости, когда производительность на валидационном наборе перестает улучшаться. Эта эффективная техника ограничивает переобучение, автоматически находя оптимальную точку компромисса между смещением и дисперсией.
Неустранимая ошибка
Часть ошибки предсказания, которая не может быть устранена независимо от модели, из-за внутреннего шума в данных. Эта компонента представляет теоретическую нижнюю границу ошибки обобщения, которую любой алгоритм должен соблюдать.
Вместимость VC
Теоретическая мера сложности класса моделей, представляющая максимальное количество точек, которые он может идеально разделить. Размерность Вапника-Червоненкиса предоставляет теоретические границы для ошибки обобщения в зависимости от размера выборки.