Variance Reduction Techniques

Gradient snapshot

Calcul complet du gradient stocké périodiquement dans les algorithmes de réduction de variance comme SVRG. Le snapshot sert de référence pour corriger les estimations de gradient stochastiques entre les mises à jour complètes.

← पीछे