Глоссарий ИИ
Полный словарь искусственного интеллекта
Защитная дистилляция
Метод защиты, при котором сеть обучается предсказывать «мягкие» вероятности предварительно обученной модели, что снижает чувствительность к состязательным возмущениям за счет сглаживания поверхности принятия решений.
Запутанные градиенты
Явление, при котором методы защиты намеренно или случайно маскируют градиенты, создавая ложное впечатление устойчивости, оставаясь при этом уязвимыми для альтернативных атак.
Раздробление градиентов
Техника, вводящая разрывы или колебания в ландшафт градиентов, чтобы нарушить работу методов атаки, основанных на итеративной оптимизации.
Регуляризация градиента
Подход, предполагающий штрафование больших градиентов во время обучения для снижения чувствительности модели к малым возмущениям на входе и повышения общей устойчивости.
Рандомизированное сглаживание
Метод, гарантирующий устойчивость путем добавления случайного шума к входным данным и использования методов гауссова сглаживания для обеспечения проверяемых границ защиты от состязательных атак.
Преобразование входных данных
Защита, применяющая недифференцируемые или обратимые преобразования к входным данным перед классификацией, такие как сжатие или передискретизация, для нейтрализации состязательных возмущений.
Сжатие признаков
Техника, снижающая сложность входных признаков за счет уменьшения точности пикселей или цветового пространства, что позволяет устранить незаметные возмущения, используемые при атаках.
Недифференцируемая защита
Стратегия защиты, включающая недифференцируемые операции в конвейер классификации, чтобы предотвратить эффективное вычисление градиентов злоумышленниками.
Gradient Obfuscation
Ensemble de techniques rendant les gradients inexploitables par des méthodes numériques, incluant masquage, écrasement ou falsification des informations de gradient.
Certified Defenses
Approches fournissant des garanties mathématiques prouvables sur la robustesse du modèle dans un rayon de perturbation spécifié, évitant les fausses impressions de sécurité.
Jacobian-based Saliency Map Attack Defense
Contre-mesures spécifiquement conçues pour neutraliser les attaques basées sur les cartes de saillance jacobienne en modifiant la structure du réseau ou les mécanismes de propagation.
PGD-based Robustness
Évaluation et amélioration de la robustesse en utilisant Projected Gradient Descent comme attaque de référence pour mesurer et optimiser la résistance du modèle.
Ensemble Methods
Utilisation de multiples modèles avec différentes architectures ou initialisations pour diversifier les réponses et réduire l'efficacité des attaques ciblant un unique point faible.
Lipschitz Continuity
Propriété mathématique garantissant une variation limitée des sorties par rapport aux entrées, utilisée pour concevoir des réseaux intrinsèquement robustes aux perturbations.
Provably Robust Networks
Architectures neuronales conçues avec des contraintes formelles garantissant mathématiquement leur robustesse dans des conditions spécifiées de perturbation.
Gradient-free Optimization Attacks
Méthodes d'attaque contournant le masquage de gradient en utilisant des approches d'optimisation sans gradient comme les algorithmes génétiques ou le recuit simulé.
Thermometer Encoding
Technique de codage des entrées transformant les caractéristiques continues en représentations binaires ordonnées, réduisant l'espace d'attaque et améliorant la robustesse.