Cross-Attention

Attention Weights Normalization

Application de la fonction softmax aux scores d'attention pour obtenir une distribution de probabilités somme à un.

← Retour