Modelos Multimodais

Atenção Cross-modal

Mecanismo de atenção que permite a um modelo relacionar elementos provenientes de diferentes modalidades (texto-imagem, áudio-texto) para enriquecer a compreensão contextual. Esta abordagem calcula pesos de atenção entre as características de cada modalidade para identificar as correlações semânticas pertinentes.

← Voltar