Attention Scaling

Gradient Stabilization

Processus visant à maintenir les gradients dans une plage numérique stable pendant la rétropropagation, essentiel pour éviter les problèmes d'entraînement dans les réseaux profonds.

← Retour