確率的勾配降下法

ウォームリスタート

モデルの重みを維持したまま局所的最小値を避けるために、定期的に学習率を高い値にリセットする訓練戦略。コサインアニーリングを用いたウォームリスタート（SGDR）は、パラメータ空間の探索を改善します。

← 戻る