Nesterov Accelerated Gradient

Lookahead Mechanism

Technique d'optimisation qui maintient deux ensembles de poids : des poids rapides mis à jour fréquemment et des poids lents qui suivent la moyenne des poids rapides pour améliorer la généralisation.

← Wstecz