AI Glossary
The complete dictionary of Artificial Intelligence
162
categories
2,032
subcategories
23,060
terms
terms
Warm Restart
Stratégie d'entraînement qui réinitialise périodiquement le taux d'apprentissage à une valeur élevée tout en préservant les poids du modèle pour éviter les minima locaux. Les warm restarts avec décroissance cosinus (SGDR) améliorent l'exploration de l'espace des paramètres.
terms
RAdam
Variante rectifiée d'Adam qui corrige la variance des poids adaptatifs pendant les phases d'échauffement initiales de l'entraînement. RAdam combine les avantages théoriques de SGD avec les performances pratiques d'Adam, offrant une convergence plus stable en début d'entraînement.
🔍