Глоссарий ИИ
Полный словарь искусственного интеллекта
Дрейф данных
Изменение статистического распределения входных данных в эксплуатационной среде по сравнению с обучающими данными, которое может привести к ухудшению производительности модели. Критически важно его обнаружить для поддержания релевантности прогнозов.
Дрейф концепции
Эволюция связи между входными переменными и целевой переменной, где изменяется значение или контекст проблемы. Этот тип дрейфа более коварен, поскольку распределения входных данных могут оставаться стабильными.
Мониторинг производительности
Непрерывное отслеживание метрик оценки модели (точность, полнота, F1-оценка и т.д.) на реальных данных для выявления любого ухудшения. Позволяет запускать оповещения и действия по повторному обучению.
Панель мониторинга МЛ (ML Dashboard)
Централизованный интерфейс визуализации, объединяющий ключевые метрики мониторинга, оповещения о дрейфе и состояние здоровья моделей в эксплуатации. Он облегчает принятие решений для команд MLOps.
Автоматизированное оповещение
Система уведомлений, запускаемая при достижении предопределенных порогов на метриках производительности или индикаторах дрейфа. Обеспечивает быструю реакцию на аномалии в поведении модели.
Метрика стабильности
Показатель, количественно оценивающий сходство между распределением текущих данных и эталонных (обучающих). Часто используются такие метрики, как расхождение Кульбака-Лейблера или индекс стабильности популяции.
Анализ важности признаков
Мониторинг эволюции влияния каждой входной переменной на прогнозы модели. Внезапное изменение может указывать на дрейф данных или изменение поведения модели.
Интерпретируемость в эксплуатации
Мониторинг объяснений прогнозов (например, SHAP, LIME) для обеспечения того, чтобы модель всегда использовала те же логику и признаки. Это необходимо для доверия и аудируемости критически важных систем.
Обнаружение аномалий предсказаний
Идентификация аномальных предсказаний или предсказаний с аномально низкой уверенностью, которые могут указывать на деградацию модели или наличие данных вне её известного распределения. Это уровень безопасности для автоматизации.
Задержка предсказания
Метрика, измеряющая время, прошедшее между получением запроса и возвратом предсказания моделью. Её мониторинг жизненно важен для приложений реального времени, где высокая задержка влияет на пользовательский опыт.
Предвзятость в продакшене
Непрерывный мониторинг показателей справедливости и предвзятости модели на реальных данных, чтобы убедиться, что она не дискриминирует определённые группы населения. Мониторинг необходим, так как предвзятость может возникать или усиливаться с дрейфом.
Структурированное логирование
Запись входных данных, предсказаний, метаданных и метрик производительности в структурированном формате (например, JSON). Это облегчает пост-анализ, отладку и питание конвейеров мониторинга.
Версионирование моделей
Отслеживание и управление различными версиями обученной модели, часто через реестр моделей (Model Registry). Мониторинг должен уметь различать производительность каждой развернутой версии.
Цикл обратной связи
Процесс сбора отзывов о предсказаниях модели (исправлений, аннотаций) для питания будущих циклов обучения. Мониторинг качества и объёма этого отзыва является показателем здоровья системы.