モメンタム

サイクリックモーメンタム

局所的最小値から脱出し、解空間を探索するために、学習サイクルと同期してモーメンタム係数を周期的に変化させる。このアプローチは、改善された全体の最適化のために、しばしばサイクリック学習率と組み合わせられる。

← 戻る