KI-Glossar
Das vollständige Wörterbuch der Künstlichen Intelligenz
162
Kategorien
2.032
Unterkategorien
23.060
Begriffe
Begriffe
Warm Restart
Stratégie d'entraînement qui réinitialise périodiquement le taux d'apprentissage à une valeur élevée tout en préservant les poids du modèle pour éviter les minima locaux. Les warm restarts avec décroissance cosinus (SGDR) améliorent l'exploration de l'espace des paramètres.
Begriffe
RAdam
Variante rectifiée d'Adam qui corrige la variance des poids adaptatifs pendant les phases d'échauffement initiales de l'entraînement. RAdam combine les avantages théoriques de SGD avec les performances pratiques d'Adam, offrant une convergence plus stable en début d'entraînement.
🔍