Глоссарий ИИ
Полный словарь искусственного интеллекта
Робастная точность
Метрика, оценивающая производительность модели на состязательных примерах, сгенерированных в пределах определенной границы возмущения, тем самым измеряя ее устойчивость к атакам. Эта метрика объединяет классическую точность с оценкой при ограничениях возмущения для количественной оценки деградации производительности.
Расстояние атаки
Количественная мера минимального возмущения, необходимого для того, чтобы состязательная атака успешно обманула модель, обычно рассчитываемая по различным нормам (L0, L1, L2, L∞). Эта метрика позволяет сравнить относительную устойчивость между различными моделями перед одинаковыми типами атак.
Оценка робастности
Нормализованный составной индекс от 0 до 1, оценивающий в целом устойчивость модели к разнообразному набору состязательных атак. Этот показатель агрегирует несколько метрик робастности, чтобы предоставить синтетическую оценку безопасности модели.
Метрика CLEVER
Оценка локальной робастности, основанная на градиентах Липшица, позволяющая оценить нижнюю границу устойчивости модели к атакам без необходимости проведения конкретных атак. CLEVER (Cross Lipschitz Extreme Value for nEtwork Robustness) особенно эффективен для оценки сертифицированной робастности глубоких сетей.
Бенчмарк AutoAttack
Стандартизированный автоматизированный набор оценки, объединяющий множество атак (APGD-CE, APGD-T, FAB, Square) для обеспечения надежной оценки устойчивости моделей. AutoAttack динамически адаптирует свои параметры для максимизации эффективности атак и минимизации маскирования градиентов.
Оценка локальной робастности
Анализ устойчивости модели в конкретной окрестности вокруг данного образца, определяющий, остается ли прогноз постоянным для всех возмущений в этой области. Эта оценка имеет решающее значение для понимания поведения модели на индивидуальном уровне, а не на агрегированном.
Оценка глобальной робастности
Мера устойчивости модели на всем распределении ее входных данных, оценивающая ее среднюю производительность при атаках на большой выборке данных. Этот подход обеспечивает макроскопическое представление о безопасности модели в реальных условиях эксплуатации.
Запас робастности
Минимальное расстояние между границей принятия решений модели и входным образцом, количественно определяющее запас безопасности до изменения прогноза. Эта метрика является фундаментальной для понимания геометрической стабильности решений модели.
Показатель состязательной безопасности
Нормализованный показатель, оценивающий уровень защиты модели от различных семейств состязательных атак, обычно взвешивающий тяжесть атак по вероятности их возникновения. Этот показатель помогает объективно сравнить относительную безопасность различных архитектур моделей.
Шкала устойчивости
Стандартизированная система классификации, позволяющая категоризировать модели по уровню их устойчивости к состязательным атакам, обычно разделенная на несколько уровней (низкий, средний, высокий, сертифицированный). Эта шкала облегчает общение об устойчивости моделей между исследователями и практиками.
Индекс уязвимости
Количественная метрика, измеряющая чувствительность модели к состязательным атакам, вычисляемая как отношение снижения производительности при атаке к номинальной производительности. Высокий индекс указывает на высокую уязвимость, тогда как низкий индекс предполагает лучшую устойчивость.
Уровень успешности атаки
Процент образцов, для которых состязательная атака удается изменить прогноз модели, непосредственно измеряющий эффективность атак против данной модели. Эта метрика является дополнительной к точности устойчивости для полной оценки безопасности модели.
Максимальное допустимое возмущение
Порог максимального возмущения, которое модель может выдержать без изменения прогноза, служащий ориентиром для оценки устойчивости в контролируемых условиях. Эта мера необходима для определения операционных ограничений безопасности модели.
Оценка эмпирической устойчивости
Методология оценки, основанная на генерации специфических состязательных атак для проверки устойчивости модели, предоставляющая практические измерения, но без формальных гарантий. Этот подход широко используется, так как он отражает реальные сценарии атак.
Бенчмарк RobustBench
Стандартизированная эталонная платформа для оценки устойчивости моделей классификации изображений, предоставляющая строгие протоколы оценки и сравнительные рейтинги. RobustBench ведет список сертифицированных устойчивых моделей и признанных сообществом метрик оценки.
Метрика расстояния Lp
Математическая норма, используемая для количественной оценки амплитуды состязательных возмущений, где p может принимать различные значения (0, 1, 2, ∞) для измерения различных типов изменений. Выбор нормы Lp существенно влияет на оценку устойчивости в зависимости от характера рассматриваемых возмущений.
Оценка формальной устойчивости
Математически строгий подход к проверке устойчивости модели путем доказательства гарантий для всех возможных возмущений в заданной области. В отличие от эмпирических методов, формальная оценка обеспечивает абсолютную уверенность, но часто является вычислительно затратной.