Глоссарий ИИ
Полный словарь искусственного интеллекта
Небрежная Кросс-Валидация
Техника оценки модели, использующая две вложенные петли кросс-валидации для предотвращения переобучения при оптимизации гиперпараметров. Внутренняя петля выбирает лучшие гиперпараметры, в то время как внешняя петля беспристрастно оценивает производительность выбранной модели.
Внутренняя Петля
Первый уровень кросс-валидации в небрежной кросс-валидации, отвечающий за выбор и оптимизацию гиперпараметров модели. Эта петля использует отдельный валидационный набор для определения оптимальной конфигурации перед финальной оценкой.
Внешняя Петля
Второй уровень кросс-валидации в небрежной кросс-валидации, обеспечивающий несмещенную оценку производительности модели после выбора гиперпараметров. Тестовые данные этой петли никогда не используются во время оптимизации гиперпараметров.
Переобучение Гиперпараметров
Феномен, при котором гиперпараметры оптимизируются для работы конкретно на валидационном наборе, компрометируя обобщение на новые данные. Эта проблема возникает, когда одна и та же кросс-валидация используется для выбора гиперпараметров и финальной оценки.
Смещение Выбора
Систематическая ошибка, вносимая при выборе модели или гиперпараметров, когда тестовый набор неявно используется в процессе оптимизации. Это смещение приводит к оптимистичной и нереалистичной оценке производительности модели в продакшене.
Вложенный Поиск по Сетке
Метод, сочетающий небрежную кросс-валидацию с исчерпывающим поиском гиперпараметров по предопределенной сетке. Каждая конфигурация сетки оценивается внутренней петлей перед тем, как лучшая тестируется внешней петлей.
Оцененная Ошибка Обобщения
Мера производительности, полученная внешней петлей небрежной кросс-валидации, представляющая приближение ошибки модели на невидимых данных. Эта оценка считается более надежной, чем полученная простой кросс-валидацией.
Последовательная Оптимизация
Процесс, при котором выбор гиперпараметров и оценка модели выполняются последовательно, но на отдельных наборах данных для предотвращения контаминации. Этот подход фундаментально реализован в небрежной кросс-валидации.
Трехуровневая перекрестная проверка
Расширение вложенной перекрестной проверки, добавляющее третий уровень для выбора между различными семействами моделей. Каждый уровень использует непересекающиеся данные для обеспечения полностью беспристрастной оценки всего конвейера.
Временная утечка информации
Специфическая проблема для последовательных данных, где вложенная перекрестная проверка необходима для сохранения хронологического порядка между обучающими, валидационными и тестовыми наборами. Этот подход предотвращает использование будущей информации при оптимизации.
Стабильность выбора
Способность вложенной перекрестной проверки выявлять устойчивые гиперпараметры, которые последовательно работают на различных внешних валидационных сгибах. Низкая стабильность указывает на сильную зависимость от конкретных обучающих данных.
Квадратичная вычислительная стоимость
Алгоритмическая сложность вложенной перекрестной проверки, требующая O(k²) обучений, где k - количество сгибов. Эта высокая стоимость является необходимой платой за получение несмещенной оценки производительности модели.
Вложенная перекрестная проверка Монте-Карло
Вариант вложенной перекрестной проверки, использующий случайные выборки с возвращением для внутреннего и внешнего циклов. Этот подход снижает корреляцию между оценками, сохраняя беспристрастность оценки.
Конвейерная оценка
Программная архитектура, в которой вложенная перекрестная проверка реализована как полный конвейер, интегрирующий предобработку, выбор признаков, оптимизацию гиперпараметров и финальную оценку. Эта структура гарантирует воспроизводимость и отсутствие утечки данных.
Вложенные доверительные интервалы
Статистический метод, использующий результаты внешнего цикла для вычисления доверительных интервалов производительности модели. Эти интервалы отражают неопределенность, вызванную как изменчивостью данных, так и процессом выбора гиперпараметров.