Momentum-based Optimization

Adadelta

Extension de Adagrad qui résout le problème de décroissance drastique du taux d'apprentissage en limitant la fenêtre des gradients passés à une taille fixe via une moyenne mobile exponentielle.

← Retour