Descente de Gradient Stochastique

Warm Restart

Stratégie d'entraînement qui réinitialise périodiquement le taux d'apprentissage à une valeur élevée tout en préservant les poids du modèle pour éviter les minima locaux. Les warm restarts avec décroissance cosinus (SGDR) améliorent l'exploration de l'espace des paramètres.

← Terug