Attention par Produits Scalaires

Matrices de Projection

Matrices de poids apprenables (Wq, Wk, Wv) transformant les embeddings en espaces requête, clé et valeur.

← Tillbaka