Variance Reduction Techniques

SARAH (StochAstic Recursive gAdient algoritHm)

Algorithme de réduction de variance utilisant une approche récursive pour mettre à jour l'estimateur de gradient à chaque itération. SARAH combine des idées de SVRG et de méthodes de gradient accéléré avec une convergence garantie.

← Retour