Глоссарий ИИ
Полный словарь искусственного интеллекта
Объяснение через модальную декомпозицию
Метод интерпретируемости, который изолирует и количественно оценивает индивидуальный вклад каждой входной модальности в финальное предсказание модели, позволяя понять их относительное влияние.
Мультимодальный интегрированный градиент
Расширение техники интегрированных градиентов для мультимодальных моделей, которое вычисляет атрибуцию вдоль пути интеграции в пространстве комбинированных признаков всех модальностей.
Мультимодальная антагонистическая возмущение
Подход объяснения, который оценивает важность признаков, вводя тонкие и скоординированные возмущения в одну или несколько модальностей для наблюдения воздействия на выход модели.
Мультимодальная логическая якорь
Правило объяснения в виде конъюнкции условий, относящихся к признакам разных модальностей (например: 'ЕСЛИ текст содержит 'кошка' И изображение показывает темную зону'), которое достаточно для закрепления предсказания.
Перекрестная проекция T-SNE
Техника визуализации, которая проецирует представления нескольких модальностей в общее 2D-пространство с использованием t-SNE для наблюдения выравниваний и корреляций между ними.
Модальная матрица совместной атрибуции
Матричное представление, где каждый элемент (i, j) количественно оценивает балл совместной атрибуции между признаком модальности i и признаком модальности j для данного предсказания.
Объяснение через мультимодальный контрфактический
Генерация измененного примера на одной или нескольких модальностях, который изменяет предсказание модели, объясняя таким образом первоначальное решение, выделяя критические условия.
Выравнивание латентных пространств
Процесс интерпретации, который направлен на понимание того, как модель проецирует и выравнивает пространства представлений разных модальностей в общее семантическое пространство.
Регуляризация модальной ортогональности
Техника, используемая во время обучения для того, чтобы заставить представления разных модальностей захватывать дополнительную, а не избыточную информацию, облегчая их различную интерпретацию.
Маскирование важности модальностей (Modal Importance Masking)
Метод, который последовательно маскирует части каждой входной модальности для измерения падения производительности модели, тем самым создавая карту пространственной и временной важности для каждого типа данных.
Мультимодальный иерархический конвейер объяснений
Структурированный подход, который генерирует объяснения на нескольких уровнях: сначала важность каждой модальности, а затем важность признаков внутри наиболее влиятельной модальности.
Синтез текстовых объяснений на основе визуальных данных
Задача, состоящая в создании объяснения на естественном языке, которое оправдывает прогноз модели на основе выявленных значимых областей или объектов во входном изображении.
Интерпретируемость post-hoc через эмуляцию унимодальной модели
Метод, который обучает простую и интерпретируемую модель (например, дерево решений) имитировать прогнозы сложной мультимодальной модели, используя признаки только одной модальности за раз.