AdaDelta

Normalisation du Gradient

Processus de mise à l'échelle des gradients en utilisant des statistiques historiques pour stabiliser l'entraînement. AdaDelta normalise les gradients en les divisant par la racine carrée de la moyenne mobile de leurs carrés.

← Back