Cross-Attention

Query-Key-Value Projection

Transformations linéaires appliquées aux séquences d'entrée pour générer les vecteurs queries, keys et values utilisés dans le calcul d'attention.

← Terug