KI-Glossar
Das vollständige Wörterbuch der Künstlichen Intelligenz
162
Kategorien
2.032
Unterkategorien
23.060
Begriffe
Begriffe
Self-Attention Multi-Têtes
Mécanisme d'attention qui exécute en parallèle plusieurs fonctions d'attention pour capturer différentes facettes des relations sémantiques entre tokens. Permet au modèle de se concentrer simultanément sur différentes positions de la séquence d'entrée.
Begriffe
Multi-Head Attention Output Projection
Couche linéaire finale qui combine les sorties de toutes les têtes d'attention en une matrice unifiée. Transforme la concaténation des têtes d'attention en dimensions compatibles avec les couches suivantes.
🔍