Momentum

Momentum classique

Technique d'optimisation qui accumule les gradients passés avec un facteur de décroissance pour créer une inertie dans les mises à jour de poids. Cette approche permet d'accélérer la convergence dans les directions constantes tout en amortissant les oscillations.

← Back