Nesterov Accelerated Gradient

Gradient Noise Scale

Paramètre quantifiant le rapport entre la variance du gradient stochastique et la norme du gradient, influençant le choix de la taille de batch optimale dans les méthodes NAG.

← Geri