Interprétabilité des Mécanismes d'Attention

Score d'Alignement

Valeur brute, avant l'application de la fonction softmax, résultant du produit scalaire entre la requête (query) et la clé (key) d'un token, mesurant leur compatibilité ou leur pertinence mutuelle.

← Wstecz