Architecture Transformer

Normalisation de Couche

Technique de régularisation stabilisant l'entraînement en normalisant les activations de chaque couche, appliquée avant ou après les sous-couches d'attention et feed-forward.

← Indietro