Глоссарий ИИ
Полный словарь искусственного интеллекта
Expected Calibration Error (ECE)
Ожидаемая ошибка калибровки (ECE) - количественная метрика, которая оценивает калибровку модели, вычисляя средневзвешенную разницу между предсказанной уверенностью и наблюдаемой точностью на дискретных интервалах уверенности.
Maximum Calibration Error (MCE)
Максимальная ошибка калибровки (MCE) - метрика калибровки, которая идентифицирует максимальное отклонение между уверенностью и точностью по всем интервалам уверенности, полезная для обнаружения худших случаев неверной калибровки.
Adaptive Calibration Error (ACE)
Адаптивная ошибка калибровки (ACE) - вариант ECE, который использует адаптивные интервалы уверенности с равным количеством образцов в каждом бине, уменьшая дисперсию и влияние количества бинов на измерение.
Static Calibration Error (SCE)
Статическая ошибка калибровки (SCE) - метрика калибровки, которая оценивает среднюю калибровку по всем бинам без взвешивания по распределению предсказаний, придавая равный вес всем интервалам уверенности.
Native Calibration
Естественная калибровка - калибровка, получаемая непосредственно во время обучения модели благодаря таким техникам, как сглаживание меток или специальные функции потерь, без необходимости отдельного этапа калибровки.
Confidence Histogram
Гистограмма уверенности - распределение частот предсказаний, организованное по интервалам уверенности, используемое для анализа поведения модели и идентификации областей неверной калибровки.
Binning Strategy
Стратегия разбиения на интервалы - метод разделения пространства уверенности на дискретные интервалы для вычисления метрик калибровки, влияющий на точность и стабильность оценок ошибок.