Glossário IA
O dicionário completo da Inteligência Artificial
Fusão de Atributos Multimodais
Processo de combinação de características de diferentes modalidades (texto, imagem, som) em uma representação unificada para um modelo de aprendizado, visando capturar as interações complexas entre as fontes de dados.
Explicação por Projeção
Método de interpretabilidade que consiste em projetar a contribuição de uma modalidade complexa (ex: uma imagem) em um espaço mais simples e interpretável (ex: palavras-chave ou conceitos) para explicar sua influência na previsão do modelo.
Mapa de Saliência Multimodal
Visualização que destaca as regiões ou segmentos mais influentes de cada modalidade (pixels de uma imagem, palavras de um texto, segmentos de áudio) para uma decisão específica do modelo, frequentemente sobrepondo as contribuições aos dados originais.
Alinhamento Semântico Intermodal
Técnica que visa estabelecer correspondências semânticas entre os elementos de diferentes modalidades (ex: ligar uma palavra a uma região de imagem ou um som a uma ação), crucial para que o modelo compreenda as relações e forneça explicações coerentes.
Decomposição por Modalidade (Modality-wise Decomposition)
Abordagem de explicabilidade que isola e quantifica a contribuição individual de cada modalidade de entrada para a previsão final, permitindo compreender se uma decisão é principalmente guiada pelo texto, imagem ou som.
Gargalo de Conceito Multimodal
Arquitetura de modelo onde a previsão final é condicionada por um conjunto de conceitos interpretáveis, eles próprios deduzidos da fusão das modalidades, oferecendo uma rastreabilidade clara dos dados brutos aos conceitos e depois à decisão.
Regularização de Ortogonalidade
Restrição aplicada durante o treinamento para forçar as representações das diferentes modalidades no espaço latente compartilhado a serem o mais independentes possível, evitando redundância e melhorando a clareza das explicações por modalidade.
Explicação Contrafactual Multimodal
Geração de exemplos modificados (alterando uma ou mais modalidades) que são suficientes para inverter a previsão do modelo, ajudando a compreender as condições mínimas e as interações entre modalidades necessárias para uma decisão.
Fusão Tardia para a Interpretabilidade
Estratégia onde cada modalidade é processada por um modelo especializado até uma decisão intermediária, sendo os resultados posteriormente fundidos. Esta abordagem facilita a interpretação ao isolar a lógica de cada modalidade antes da combinação final.
Modelo Fundamental de VISÃO-LINGUAGEM
Modelo em larga escala pré-treinado em imensos corpora de dados textuais e visuais, capaz de compreender e gerar conteúdo a partir destas duas modalidades, cuja interpretabilidade é um desafio importante devido à sua complexidade intrínseca.
Análise de Papel Modal
Avaliação sistemática do papel desempenhado por cada modalidade em diferentes tarefas ou contextos, determinando se uma modalidade atua como suporte contextual, fonte de informação primária ou modificador para as outras.
Aterramento Visuo-Linguístico
Processo de ancoragem de símbolos linguísticos (palavras, frases) a entidades ou conceitos concretos em dados visuais, fundamental para que as explicações de um modelo que relaciona texto e imagem sejam semanticamente corretas e compreensíveis.
Interpretabilidade por Nó de Fusão
Método que se concentra na análise de neurônios ou camadas específicas onde ocorre a fusão de informações multimodais, para compreender como as interações são codificadas e como influenciam a saída do modelo.
Explicação por Gradiente Cruzado
Técnica de interpretabilidade que calcula o gradiente da saída do modelo em relação às características de uma modalidade, condicionando este cálculo às características de outra modalidade, revelando assim as dependências intermodais.