Variance Reduction Techniques

SAG (Stochastic Average Gradient)

Algorithme d'optimisation qui maintient en mémoire les gradients précédents pour chaque point de données et les met à jour de manière incrémentale. SAG réduit la variance en utilisant la moyenne des gradients historiques comme estimation de référence.

← Terug