Mini-batch Gradient Descent

Gradient Noise

Variabilité inhérente des estimations de gradient due à l'échantillonnage stochastique des mini-batches, pouvant aider à échapper aux minima locaux. Ce bruit est caractérisé par une variance inversement proportionnelle à la taille du batch et diminue avec la convergence.

← Terug