Modèles Multimodaux

Attention Cross-modale

Mécanisme d'attention permettant à un modèle de mettre en relation des éléments provenant de différentes modalités (texte-image, audio-texte) pour enrichir la compréhension contextuelle. Cette approche calcule des poids d'attention entre les caractéristiques de chaque modalité pour identifier les corrélations sémantiques pertinentes.

← Terug