AI-ordlista
Den kompletta ordlistan över AI
162
kategorier
2 032
underkategorier
23 060
termer
termer
Warm Restart
Stratégie d'entraînement qui réinitialise périodiquement le taux d'apprentissage à une valeur élevée tout en préservant les poids du modèle pour éviter les minima locaux. Les warm restarts avec décroissance cosinus (SGDR) améliorent l'exploration de l'espace des paramètres.
termer
RAdam
Variante rectifiée d'Adam qui corrige la variance des poids adaptatifs pendant les phases d'échauffement initiales de l'entraînement. RAdam combine les avantages théoriques de SGD avec les performances pratiques d'Adam, offrant une convergence plus stable en début d'entraînement.
🔍