Architecture Encoder-Decoder

Mécanisme de Clé-Valeur-Requête

Abstraction fondamentale du mécanisme d'attention où chaque token est projeté en trois vecteurs : la requête (ce que je cherche), la clé (ce que j'ai) et la valeur (ce que je retourne), pour calculer les poids d'attention.

← Retour