Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
242
catégories
3 353
sous-catégories
40 780
termes
termes
Warm Restart
Stratégie d'entraînement qui réinitialise périodiquement le taux d'apprentissage à une valeur élevée tout en préservant les poids du modèle pour éviter les minima locaux. Les warm restarts avec décroissance cosinus (SGDR) améliorent l'exploration de l'espace des paramètres.
termes
RAdam
Variante rectifiée d'Adam qui corrige la variance des poids adaptatifs pendant les phases d'échauffement initiales de l'entraînement. RAdam combine les avantages théoriques de SGD avec les performances pratiques d'Adam, offrant une convergence plus stable en début d'entraînement.
🔍