確率的勾配降下法

RAdam

訓練の初期ウォームアップ段階で適応的重みの分散を修正する、Adamの修正版。RAdamは、SGDの理論的利点とAdamの実用的な性能を組み合わせ、訓練初期においてより安定した収束を提供します。

← 戻る