Attention par Produits Scalaires

Attention par Produits Scalaires

Mécanisme d'attention où la pertinence entre requête et clé est calculée par produit scalaire, suivi d'une normalisation par softmax et d'une pondération des valeurs.

← Geri