Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Co-Attention
Mécanisme bidirectionnel où deux modalités ou séquences s'attendent mutuellement pour établir des corrélations croisées. Fondamental dans les tâches multi-modales comme le VQA (Visual Question Answering).
Attention Pyramid Network
Architecture pyramidale intégrant des mécanismes d'attention à chaque niveau hiérarchique pour une agrégation progressive des informations. Permet une fusion efficace des caractéristiques multi-échelles avec des poids d'attention adaptatifs.
Cascaded Attention
Enchaînement séquentiel de couches d'attention où la sortie d'une couche alimente la suivante avec un raffinement progressif. Permet une modélisation fine des dépendances complexes à travers multiples étapes d'attention.
Hierarchical Feature Learning
Processus d'extraction de caractéristiques à plusieurs niveaux d'abstraction, du pixel/token aux concepts haut niveau. Intégré naturellement avec l'attention hiérarchique pour une représentation structurée des données.
Multi-Level Attention Fusion
Technique combinant les sorties de mécanismes d'attention à différents niveaux hiérarchiques par pondération adaptative. Optimise l'intégration d'informations contextuelles multi-échelles dans une représentation unifiée.
Hierarchical Self-Attention
Extension du self-attention appliquée récursivement sur des regroupements hiérarchiques de tokens ou segments. Permet de modéliser efficacement les dépendances à longue distance dans les documents structurés.
Global-Local Attention
Architecture hybride combinant l'attention sur l'ensemble de la séquence avec une attention focalisée sur des segments locaux. Équilibre efficacement la perception du contexte global et des détails fins.
Hierarchical Cross-Attention
Mécanisme où une hiérarchie de queries s'attende à une hiérarchie de keys/values pour une interaction multi-niveaux. Essentiel dans les tâches de traduction et génération avec structures hiérarchiques.
Pyramid Attention Module
Module spécifique intégrant une pyramide d'attention avec des taux de réduction progressifs pour une efficacité computationnelle. Optimise le rapport performance/coût dans les modèles vision-transformer.
Hierarchical Attention Network
Architecture complète basée sur l'empilement de mécanismes d'attention hiérarchiques pour le traitement de données structurées. Pionnière dans l'analyse de sentiments et classification de documents.
Multi-Granularity Attention
Approche appliquant l'attention simultanément sur différentes granularités de données (mots, phrases, paragraphes). Permet une compréhension nuancée du texte à plusieurs niveaux sémantiques.
Hierarchical Attention Routing
Mécanisme dirigeant dynamiquement l'information à travers une hiérarchie basée sur des scores d'attention. Optimise le flux d'information dans les réseaux neuronaux profonds avec structures arborescentes.