Vision Transformers (ViT)

Layer Scale

Technique de régularisation introduite dans les ViT profonds où des poids apprenables sont appliqués aux sorties des résidus pour stabiliser l'entraînement des couches initiales.

← Retour