Adagrad

Somme historique des carrés des gradients

Accumulation exponentielle des carrés des gradients passés utilisée dans Adagrad pour normaliser les mises à jour des paramètres, pénalisant les gradients élevés fréquents et favorisant les directions avec des gradients historiquement faibles.

← Retour