学習率スケジューリング

ウォームアップ

学習率が低い値から目標値まで徐々に増加するトレーニングの初期段階。この技術は、学習の初期のステップを安定させ、深層アーキテクチャにおけるモデルの発散を防ぎます。

← 戻る