Variance Reduction Techniques

Gradient variance

Mesure de la variabilité des estimations de gradient stochastiques due à l'échantillonnage aléatoire des données. La réduction de cette variance est l'objectif principal des techniques SVRG et SAGA pour améliorer la convergence.

← Tillbaka