Глоссарий ИИ
Полный словарь искусственного интеллекта
Fusion d'Attributs Multimodaux
Processus de combinaison de caractéristiques issues de différentes modalités (texte, image, son) en une représentation unifiée pour un modèle d'apprentissage, visant à capturer les interactions complexes entre les sources de données.
Explication par Projection
Méthode d'interprétabilité qui consiste à projeter la contribution d'une modalité complexe (ex: une image) sur un espace plus simple et interprétable (ex: des mots-clés ou des concepts) pour expliquer son influence sur la prédiction du modèle.
Carte de Salience Multimodale
Visualisation qui met en évidence les régions ou les segments les plus influents de chaque modalité (pixels d'une image, mots d'un texte, segments audio) pour une décision spécifique du modèle, souvent en superposant les contributions sur les données d'origine.
Alignement Sémantique Inter-modalités
Technique visant à établir des correspondances sémantiques entre les éléments de différentes modalités (ex: lier un mot à une région d'image ou un son à une action), crucial pour que le modèle comprenne les relations et fournisse des explications cohérentes.
Décomposition par Modalité (Modality-wise Decomposition)
Approche d'explicabilité qui isole et quantifie la contribution individuelle de chaque modalité d'entrée à la prédiction finale, permettant de comprendre si une décision est principalement guidée par le texte, l'image ou le son.
Concept Bottleneck Multimodal
Architecture de modèle où la prédiction finale est conditionnée par un ensemble de concepts interprétables, eux-mêmes déduits de la fusion des modalités, offrant une traçabilité claire des données brutes aux concepts puis à la décision.
Régularisation d'Orthogonalité
Contrainte appliquée durant l'entraînement pour forcer les représentations des différentes modalités dans l'espace latent partagé à être aussi indépendantes que possible, évitant la redondance et améliorant la clarté des explications par modalité.
Explication Contrefactuelle Multimodale
Génération d'exemples modifiés (en changeant une ou plusieurs modalités) qui suffisent à inverser la prédiction du modèle, aidant à comprendre les conditions minimales et les interactions entre modalités nécessaires à une décision.
Позднее слияние для интерпретируемости (Late Fusion for Interpretability)
Стратегия, при которой каждая модальность обрабатывается специализированной моделью до промежуточного решения, а затем результаты объединяются. Этот подход облегчает интерпретацию, изолируя логику каждой модальности перед окончательным объединением.
Фундаментальная модель VISION-LANGUAGE
Крупномасштабная модель, предварительно обученная на огромных корпусах текстовых и визуальных данных, способная понимать и генерировать контент из обеих модальностей, интерпретируемость которой является серьезной проблемой из-за ее внутренней сложности.
Анализ модальной роли (Modal Role Analysis)
Систематическая оценка роли, которую каждая модальность играет в различных задачах или контекстах, определяя, является ли модальность контекстуальной поддержкой, основным источником информации или модификатором для других.
Визуально-лингвистическая привязка (Grounding Visuo-Linguistique)
Процесс привязки лингвистических символов (слов, фраз) к конкретным объектам или концепциям в визуальных данных, который является основополагающим для того, чтобы объяснения модели, связывающей текст и изображение, были семантически корректными и понятными.
Интерпретируемость по узлу слияния (Fusion Node Interpretability)
Метод, который концентрируется на анализе нейронов или конкретных слоев, где происходит слияние мультимодальной информации, для понимания того, как кодируются взаимодействия и как они влияют на выход модели.
Объяснение с помощью перекрестного градиента (Explication par Gradient Croisé)
Метод интерпретации, который вычисляет градиент выхода модели относительно признаков одной модальности, обусловливая этот вычисление на признаках другой модальности, тем самым раскрывая межмодальные зависимости.