Momentum

Historique des gradients

Mémoire des gradients précédents utilisée pour calculer la direction de mise à jour actuelle, permettant de capturer les tendances à long terme de la descente. L'historique exponentiellement pondéré privilégie les gradients récents tout en conservant l'information des itérations antérieures.

← Geri