Variance Reduction Techniques

Mini-batch

Sous-ensemble de taille intermédiaire du jeu de données complet utilisé pour calculer des estimations de gradient à chaque itération. Les mini-batches réduisent la variance par rapport au SGD pur tout en étant plus efficaces que les gradients complets.

← Terug