Matrices de poids apprenables Wq, Wk, Wv transformant les embeddings d'entrée en espaces Query, Key, Value, et Wo combinant les sorties de différentes têtes d'attention.

📖

istilah

Pre-LN Transformer

Variante d'architecture où la normalisation de couche est appliquée avant l'attention et le feed-forward plutôt qu'après, offrant une meilleure stabilité d'entraînement pour les modèles profonds.

🔍

Glosarium AI

Projection Matrices

Pre-LN Transformer

Tidak ada hasil ditemukan