Online Learning Optimization

Nesterov Accelerated Gradient (NAG)

Variante améliorée de Momentum effectuant une étape de prévision avant le calcul du gradient, résultant en une convergence théoriquement supérieure et une meilleure stabilité numérique.

← Zurück