Trois matrices dérivées de l'entrée utilisées dans l'attention : Queries pour chercher, Keys pour être trouvées, et Values contenant l'information à extraire.

📖

termen

Additive Attention

Type d'attention utilisant un réseau neuronal à une couche pour calculer les scores de compatibilité, particulièrement efficace lorsque les dimensions des requêtes et clés diffèrent.

🔍

AI-woordenlijst

Queries, Keys, Values (QKV)

Additive Attention

Geen resultaten gevonden