Глоссарий ИИ
Полный словарь искусственного интеллекта
Вереность (Faithfulness)
Степень, в которой объяснение точно отражает внутреннее рассуждение модели, оценивая, соответствуют ли прогнозы объяснения прогнозам модели на возмущенных данных.
Понятность (Comprehensibility)
Субъективная или объективная мера легкости, с которой человек может понять объяснение, часто связанная со сложностью модели объяснения (например, количество правил, глубина дерева).
Достаточность (Sufficiency)
Способность подмножества характеристик, идентифицированного объяснением, поддерживать исходный прогноз модели, указывая, что эти характеристики достаточны для оправдания решения.
Необходимость (Necessity)
Оценивает, изменяет ли отсутствие характеристики (или набора характеристик), идентифицированной как важная объяснением, прогноз модели значительным образом.
Показатель причинно-следственного вывода (CIS)
Метрика, количественно оценивающая способность объяснения выявлять реальные причинно-следственные отношения, а не просто корреляции, путем проверки эффектов вмешательств в переменные.
Устойчивость объяснения (Explanation Robustness)
Измеряет вариации объяснений, когда модель или входные данные подвергаются атакам противника или шуму, оценивая сопротивляемость интерпретации манипуляциям.
Согласованность характеристик (Feature Coherence)
Оценивает, являются ли характеристики, считающиеся важными в объяснении, семантически или логически согласоваными между собой, укрепляя правдоподобность общего объяснения.
Коэффициент избирательности (Selectivity Rate)
Показатель, измеряющий долю характеристик или правил, используемых объяснением, по отношению к общему доступному количеству, предпочитая лаконичные объяснения.
Функция релевантности
Математическая функция, которая количественно оценивает вклад признака или набора признаков в финальное предсказание модели, служащая основой для многих метрик интерпретируемости.
Межоценочное согласие
Статистическая мера (например, каппа-коэффициент Коэна), оценивающая уровень консенсуса между различными человеческими экспертами относительно качества или правильности объяснения, валидирующая его субъективность.
Предвзятость подтверждения
Метрика, оценивающая, усиливает ли объяснение только существующие убеждения пользователя без оспаривания модели, измеряющая риск ложных интерпретаций.
Дискриминативная способность
Способность объяснения четко различать признаки, которые положительно влияют на предсказание, от тех, которые влияют отрицательно, улучшая ясность интерпретации.
Глобальная точность
Оценивает способность объяснения точно представлять глобальное поведение модели на всем пространстве данных, часто в ущерб локальной точности.
Контрфактический балл
Метрика, оценивающая качество контрфактического объяснения в зависимости от минимального возмущения, необходимого для изменения предсказания модели, и правдоподобности сгенерированного сценария.
Семантическая глубина
Измеряет уровень абстракции объяснения, количественно оценивая, основывается ли оно на признаках низкого уровня (пиксели) или на концепциях высокого уровня (объекты, идеи), более понятных.