Глоссарий ИИ
Полный словарь искусственного интеллекта
Точность (Precision)
Метрика, оценивающая долю правильных положительных прогнозов среди всех положительных прогнозов, сделанных моделью. Она измеряет качество положительных прогнозов, минимизируя ложные срабатывания.
Полнота (Recall)
Показатель, измеряющий способность модели правильно идентифицировать все реальные положительные экземпляры в наборе данных. Полнота количественно оценивает исчерпывающий характер положительных прогнозов, уменьшая пропуски.
F1-мера (F1-Score)
Среднее гармоническое точности и полноты, обеспечивающее баланс между этими двумя часто противоречащими друг другу метриками. F1-мера особенно полезна для несбалансированных классов, где только точность или только полнота могут быть обманчивыми.
F-бета мера (F-beta Score)
Обобщение F1-меры, позволяющее по-разному взвешивать точность и полноту в зависимости от параметра beta. Эта метрика адаптируется к конкретным потребностям области, отдавая предпочтение либо точности (beta<1), либо полноте (beta>1).
Матрица ошибок (Confusion Matrix)
Таблица сопряженности, суммирующая производительность модели классификации путем сравнения прогнозов с реальными значениями. Она разбивает результаты на истинно положительные, ложные срабатывания, истинно отрицательные и пропуски для детального анализа.
Истинно положительный (True Positive)
Экземпляр, правильно классифицированный как положительный моделью, представляющий успешный прогноз для целевого класса. Истинно положительные случаи составляют числитель при расчете полноты и вносят вклад в знаменатель точности.
Ложное срабатывание (False Positive)
Отрицательный экземпляр, ошибочно предсказанный как положительный моделью, соответствующий ошибке первого рода. Ложные срабатывания отрицательно влияют на точность, но не влияют напрямую на полноту положительного класса.
Истинно отрицательный (True Negative)
Экземпляр, правильно идентифицированный как отрицательный моделью, демонстрирующий ее способность отклонять нерелевантные случаи. Истинно отрицательные случаи необходимы для оценки специфичности модели на мажоритарных классах.
Ложноотрицательный результат (False Negative)
Пропущенный положительный случай, который модель неправильно классифицировала как отрицательный, представляющий ошибку типа II. Ложноотрицательные результаты напрямую снижают полноту и могут иметь критические последствия в зависимости от области применения.
Средняя точность (Average Precision)
Метрика, суммирующая кривую точность-полнота путем вычисления взвешенного среднего значений точности при каждом пороге полноты. Особенно подходит для оценки систем обнаружения объектов и информационного поиска.
Оценка AUC-PR
Площадь под кривой точность-полнота, измеряющая общую производительность модели независимо от порога классификации. В отличие от AUC-ROC, AUC-PR более чувствительна к производительности на миноритарных классах.
Чувствительность (Sensitivity)
Синоним полноты, измеряющий долю реальных положительных случаев, правильно идентифицированных моделью. Чувствительность имеет решающее значение в медицинских приложениях, где обнаружение положительных случаев является приоритетом.
Специфичность (Specificity)
Способность модели правильно идентифицировать отрицательные экземпляры, вычисляемая как отношение истинно отрицательных к общему количеству реальных отрицательных. Специфичность дополняет полноту для оценки производительности по всем классам.
Сбалансированная точность (Balanced Accuracy)
Среднее арифметическое чувствительности и специфичности, корректирующее смещения в несбалансированных наборах данных. Эта метрика одинаково оценивает производительность на мажоритарных и миноритарных классах.
Кривая точность-полнота (Precision-Recall Curve)
Двумерный график, отображающий точность в зависимости от полноты для различных порогов классификации. Эта визуализация позволяет анализировать компромисс между точностью и полнотой и выбирать оптимальный порог.
Коэффициент Жаккара (Jaccard Score)
Метрика, измеряющая сходство между двумя множествами как отношение их пересечения к их объединению. В классификации коэффициент Жаккара оценивает соответствие между множествами предсказанных положительных и реально положительных экземпляров.
Точность Top-K
Метрика, оценивающая долю правильных предсказаний среди K наиболее уверенных предсказаний модели. Особенно актуальна для систем рекомендаций, где пользователю представляется только топ предложений.
Полнота Top-K
Расширение традиционной полноты, ограниченное K наиболее вероятными предсказаниями модели. Эта метрика измеряет способность системы охватывать релевантные экземпляры, рассматривая только подмножество всех предсказаний.