Adagrad

Norme du gradient

Mesure de la magnitude du vecteur gradient, utilisée dans Adagrad pour déterminer si un paramètre a subi des mises à jour importantes historiquement et nécessite donc un ajustement de taux d'apprentissage adaptatif.

← Retour