Глоссарий ИИ
Полный словарь искусственного интеллекта
Дрейф модели
Явление постепенного ухудшения производительности модели ИИ в эксплуатации из-за изменений во входных данных или в отношениях между переменными. Дрейф требует непрерывного мониторинга и, возможно, переобучения модели.
Дрейф данных
Статистическое изменение в распределении входных данных модели по сравнению с исходными обучающими данными. Это явление может негативно повлиять на прогнозы и требует проактивного обнаружения.
Мониторинг производительности
Непрерывный отслеживание метрик производительности модели в эксплуатации, включая точность (accuracy), точность (precision), полноту (recall) и другие релевантные KPI. Этот мониторинг позволяет быстро обнаруживать аномалии производительности.
Интерпретируемость модели
Способность понимать и интерпретировать решения модели ИИ, что необходимо для доверия и соответствия нормативным требованиям. Техники, такие как SHAP или LIME, позволяют объяснять индивидуальные прогнозы.
Отслеживание важности признаков
Непрерывный мониторинг относительной важности характеристик, используемых моделью для прогнозов. Этот мониторинг помогает выявить изменения в паттернах принятия решений моделью.
Оценка уверенности прогноза
Количественная метрика, указывающая на уровень уверенности модели в отношении каждого индивидуального прогноза. Низкие оценки уверенности могут указывать на рискованные прогнозы, требующие вмешательства человека.
Деградация модели
Постепенная потеря эффективности модели в эксплуатации из-за различных факторов, таких как устаревание данных или изменение бизнес-контекста. Деградация требует проактивного обслуживания модели.
Мониторинг вывода в реальном времени
Мгновенный мониторинг прогнозов и метрик производительности при выводе в реальном времени. Этот мониторинг позволяет немедленно обнаруживать аномалии и сбои системы.
Система оповещений
Автоматизированная инфраструктура, генерирующая уведомления, когда метрики модели превышают предопределенные пороги. Оповещения позволяют быстро вмешаться до того, как ухудшения значительно повлияют на бизнес.
Базовые метрики
Эталонные показатели производительности, установленные при проверке модели, служащие точкой сравнения для мониторинга в рабочей среде. Эти базовые показатели позволяют объективно количественно оценивать ухудшение производительности.
Канареечное развертывание
Стратегия постепенного развертывания, при которой новая модель тестируется на небольшом проценте трафика перед полным развертыванием. Этот метод минимизирует риски, связанные с новыми версиями моделей.
Конвейер наблюдаемости
Инфраструктура сбора, обработки и хранения логов, метрик и трассировок моделей в рабочей среде. Этот конвейер обеспечивает полную видимость поведения системы.
Алгоритм обнаружения дрейфа
Статистические алгоритмы или алгоритмы машинного обучения, которые автоматически определяют изменения в распределениях данных или производительности модели. Эти инструменты позволяют проактивно обнаруживать дрейфы.
Панель здоровья модели
Централизованный визуальный интерфейс, отображающий ключевые метрики производительности, оповещения и общее состояние здоровья моделей в рабочей среде. Этот инструмент облегчает принятие решений для команд MLOps.
Обнаружение аномалий
Процесс автоматической идентификации необычного поведения или аномальных прогнозов в выходных данных модели. Это обнаружение позволяет изолировать случаи, требующие детального исследования.
Регрессия производительности
Измеримое снижение производительности модели по сравнению с ее исходными эталонными метриками. Регрессия может быть постепенной или внезапной и требует анализа первопричин.
Управление моделями
Совокупность политик, процедур и контроля, обеспечивающих соответствие, прослеживаемость и аудируемость моделей на протяжении всего их жизненного цикла. Управление гарантирует надежность и этичность систем ИИ.
Мониторинг задержек
Контроль времени ответа предсказаний модели в продакшене, критически важный для приложений реального времени. Постоянный мониторинг обеспечивает соблюдение SLA и пользовательский опыт.
Отслеживание пропускной способности
Измерение объема обработанных предсказаний за единицу времени, необходимое для оценки нагрузочной способности системы. Отслеживание пропускной способности помогает правильно масштабировать ресурсы инфраструктуры.