Learning Rate Scheduling

SGDR

Stochastic Gradient Descent with Restarts, variante du SGD qui intègre des redémarrages périodiques du taux d'apprentissage selon une politique de cosine annealing. Cette technique permet d'échapper aux points sels et d'améliorer la généralisation.

← Retour