YZ Sözlüğü
Yapay Zekanın tam sözlüğü
162
kategoriler
2.032
alt kategoriler
23.060
terimler
terimler
Projection Matrices
Matrices de poids apprenables Wq, Wk, Wv transformant les embeddings d'entrée en espaces Query, Key, Value, et Wo combinant les sorties de différentes têtes d'attention.
terimler
Pre-LN Transformer
Variante d'architecture où la normalisation de couche est appliquée avant l'attention et le feed-forward plutôt qu'après, offrant une meilleure stabilité d'entraînement pour les modèles profonds.
🔍