Adaptive Learning Rate Methods

AdaGrad

Algorithme d'optimisation qui adapte le taux d'apprentissage de chaque paramètre en fonction de la somme historique des carrés des gradients, permettant des mises à jour plus grandes pour les paramètres peu fréquents.

← Retour