KI-Glossar
Das vollständige Wörterbuch der Künstlichen Intelligenz
162
Kategorien
2.032
Unterkategorien
23.060
Begriffe
Begriffe
Projection Matrices
Matrices de poids apprenables Wq, Wk, Wv transformant les embeddings d'entrée en espaces Query, Key, Value, et Wo combinant les sorties de différentes têtes d'attention.
Begriffe
Pre-LN Transformer
Variante d'architecture où la normalisation de couche est appliquée avant l'attention et le feed-forward plutôt qu'après, offrant une meilleure stabilité d'entraînement pour les modèles profonds.
🔍