KI-Glossar
Das vollständige Wörterbuch der Künstlichen Intelligenz
162
Kategorien
2.032
Unterkategorien
23.060
Begriffe
Begriffe
QKV Projection
Transformation linéaire appliquée aux embeddings d'entrée pour générer les tenseurs Query, Key et Value nécessaires au calcul de l'attention.
Begriffe
Head Dimension
Dimension de chaque tête d'attention dans l'attention multi-tête, calculée comme le quotient de la dimension du modèle par le nombre de têtes.
Begriffe
Relative Position Attention
Extension du mécanisme d'attention intégrant explicitement les distances relatives entre positions pour améliorer la modélisation des dépendances séquentielles.
Begriffe
Attention Head Pruning
Technique d'optimisation éliminant les têtes d'attention redondantes ou peu importantes pour réduire la complexité computationnelle.
🔍