AI Glossary
The complete dictionary of Artificial Intelligence
162
categories
2,032
subcategories
23,060
terms
terms
Self-Attention Multi-Têtes
Mécanisme d'attention qui exécute en parallèle plusieurs fonctions d'attention pour capturer différentes facettes des relations sémantiques entre tokens. Permet au modèle de se concentrer simultanément sur différentes positions de la séquence d'entrée.
terms
Multi-Head Attention Output Projection
Couche linéaire finale qui combine les sorties de toutes les têtes d'attention en une matrice unifiée. Transforme la concaténation des têtes d'attention en dimensions compatibles avec les couches suivantes.
🔍