Cross-Attention

Cross-Attention Layer Normalization

Normalisation appliquée avant ou après la cross-attention pour stabiliser l'entraînement et améliorer la convergence.

← Indietro