Variance Reduction Techniques

SVRG (Stochastic Variance Reduced Gradient)

Algorithme d'optimisation qui combine des calculs de gradient complets périodiques avec des mises à jour stochastiques pour réduire la variance. SVRG maintient une référence du gradient complet pour corriger les estimations de gradient stochastiques.

← Zurück