Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Graph Transformer
Architecture neuronale combinant les mécanismes d'attention des Transformers avec la structure des graphes pour capturer les dépendances globales et locales dans les données relationnelles.
Attention sur les graphes
Mécanisme adapté de l'attention des Transformers qui calcule l'importance relative entre les nœuds d'un graphe en tenant compte de leur connectivité structurelle.
Positional encoding pour graphes
Technique d'encodage positionnel adaptée aux graphes qui intègre des informations structurelles comme les distances, les degrés ou les chemins pour représenter la position relative des nœuds.
Self-attention sur les nœuds
Opération où chaque nœud du graphe calcule une pondération d'attention sur tous les autres nœuds, y compris lui-même, pour capturer les dépendances à longue portée.
Graph Attention Network (GAT)
Architecture pionnière introduisant l'attention masquée dans les GNNs, où les poids d'attention sont calculés uniquement entre les nœuds voisins directs.
Propagation de messages
Processus fondamental des GNNs où les nœuds échangent et agrègent des informations avec leurs voisins pour mettre à jour leurs représentations latentes.
Mécanisme d'attention multi-tête
Extension de l'attention où plusieurs têtes d'attention calculent indépendamment les poids d'attention, permettant de capturer différents types de relations dans le graphe.
Edge embedding
Représentation vectorielle des arêtes du graphe capturant leurs caractéristiques intrinsèques et les relations entre les nœuds qu'elles connectent.
Transformer-XL pour graphes
Extension adaptée du Transformer-XL qui gère les dépendances à longue portée dans les graphes grâce à un mécanisme de cache segmenté.
GraphBERT
Architecture pré-entraînée spécifiquement conçue pour les graphes utilisant des Transformers masqués et des stratégies d'entraînement auto-supervisé.
Graphormer
Architecture Transformer pure pour les graphes utilisant des encodages positionnels basés sur la centralité et des mécanismes d'attention structurée.
Attention sur les arêtes
Variante de l'attention où les poids sont calculés sur les arêtes plutôt que sur les nœuds, permettant de modéliser directement l'importance des relations.
Heterogeneous Graph Transformer
Extension des Graph Transformers adaptée aux graphes hétérogènes avec différents types de nœuds et d'arêtes utilisant des mécanismes d'attention spécifiques par type.
Attention structurale
Mécanisme d'attention intégrant explicitement des informations structurelles comme les chemins, les cycles ou les motifs du graphe dans le calcul des poids d'attention.
Cross-attention entre nœuds
Opération d'attention où les requêtes, clés et valeurs proviennent de représentations différentes des nœuds, permettant des interactions plus complexes.