Słownik AI

📖

pojęcia

Projection Matrices

Matrices de poids apprenables Wq, Wk, Wv transformant les embeddings d'entrée en espaces Query, Key, Value, et Wo combinant les sorties de différentes têtes d'attention.

📖

pojęcia

Pre-LN Transformer

Variante d'architecture où la normalisation de couche est appliquée avant l'attention et le feed-forward plutôt qu'après, offrant une meilleure stabilité d'entraînement pour les modèles profonds.