Momentum

Oscillations amorties

Réduction progressive des fluctuations autour de la direction optimale de descente grâce à l'accumulation de momentum dans les directions consistantes. Ce mécanisme stabilise particulièrement l'optimisation dans les vallées étroites où les gradients sont fortement corrélés.

← Retour