Глоссарий ИИ
Полный словарь искусственного интеллекта
Кража параметров
Процесс, при котором злоумышленник извлекает веса и смещения обученной нейронной сети для создания функциональной копии исходной модели без прямого доступа к файлам.
Извлечение функциональности
Метод, заключающийся в выводе обучающих признаков и внутренних представлений модели путем наблюдения за ее поведением при различных входных данных.
Адверсариальные запросы
Набор входных данных, специально разработанных для проверки границ и поведения модели с целью извлечения конфиденциальной информации об ее архитектуре или параметрах.
Вывод модели
Процесс определения свойств целевой модели (архитектуры, гиперпараметров, обучающих данных) на основе ее прогнозов и ответов на запросы.
Теневое моделирование
Техника, при которой злоумышленник обучает несколько моделей-заместителей для аппроксимации поведения целевой модели, что затем облегчает извлечение ее внутренних характеристик.
Вывод членства
Атака, направленная на определение того, входил ли конкретный образец данных в обучающий набор модели, часто используемая в качестве предварительного этапа перед извлечением.
Атака на основе запросов
Стратегия атаки, основанная исключительно на отправке запросов к API модели для постепенного вывода ее структуры и внутренних параметров.
Атака по извлечению функции
Специализированная атака, направленная на воспроизведение функции принятия решений модели, а не ее точных параметров, путем создания приблизительной модели с эквивалентным поведением.
Извлечение параметров
Продвинутая техника, позволяющая получить точные числовые значения весов нейронной сети на основе наблюдений за ее выходными данными при различных входных данных.
Злоупотребление API
Некорректное использование точек доступа службы ИИ для выполнения чрезмерного количества запросов с целью извлечения информации о базовой модели.
Инверсия модели
Реконструктивная атака, при которой злоумышленник использует выходные данные модели для приблизительного восстановления конфиденциальных обучающих данных, использованных для ее обучения.
Атака с использованием дистилляции знаний
Злонамеренное использование методов дистилляции знаний, при котором целевая модель выступает в роли учителя, а злоумышленник создает модель-ученика, имитирующую ее поведение.
Отпечаток модели
Уникальная идентификация модели по ее отличительным поведенческим характеристикам, что позволяет отследить ее происхождение и облегчить целенаправленное извлечение.
Извлечение в условиях белого ящика
Атака, при которой злоумышленник имеет частичный или полный доступ к архитектуре модели, что значительно облегчает точное извлечение ее параметров и функциональности.
Извлечение в условиях черного ящика
Извлечение модели, выполняемое без предварительного знания внутренней архитектуры, основываясь исключительно на наблюдаемых отношениях «вход-выход» через API.
Атака «Оракул»
Метод атаки, рассматривающий целевую модель как оракул, дающий ответы на вопросы, и использующий эти ответы для постепенного восстановления ее внутренней логики.
Output Space Analysis
Analyse systématique de l'espace des sorties d'un modèle pour identifier des patterns et relations permettant de déduire sa structure interne et ses paramètres.