AI 용어집
인공지능 완전 사전
162
카테고리
2,032
하위 카테고리
23,060
용어
용어
Warm Restart
Stratégie d'entraînement qui réinitialise périodiquement le taux d'apprentissage à une valeur élevée tout en préservant les poids du modèle pour éviter les minima locaux. Les warm restarts avec décroissance cosinus (SGDR) améliorent l'exploration de l'espace des paramètres.
용어
RAdam
Variante rectifiée d'Adam qui corrige la variance des poids adaptatifs pendant les phases d'échauffement initiales de l'entraînement. RAdam combine les avantages théoriques de SGD avec les performances pratiques d'Adam, offrant une convergence plus stable en début d'entraînement.
🔍