Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
242
catégories
3 353
sous-catégories
40 780
termes
termes
Self-Attention Multi-Têtes
Mécanisme d'attention qui exécute en parallèle plusieurs fonctions d'attention pour capturer différentes facettes des relations sémantiques entre tokens. Permet au modèle de se concentrer simultanément sur différentes positions de la séquence d'entrée.
termes
Multi-Head Attention Output Projection
Couche linéaire finale qui combine les sorties de toutes les têtes d'attention en une matrice unifiée. Transforme la concaténation des têtes d'attention en dimensions compatibles avec les couches suivantes.
🔍