人工知能の完全辞典
モデルの重みを維持したまま局所的最小値を避けるために、定期的に学習率を高い値にリセットする訓練戦略。コサインアニーリングを用いたウォームリスタート（SGDR）は、パラメータ空間の探索を改善します。
訓練の初期ウォームアップ段階で適応的重みの分散を修正する、Adamの修正版。RAdamは、SGDの理論的利点とAdamの実用的な性能を組み合わせ、訓練初期においてより安定した収束を提供します。