モメンタム

最適化における慣性

パラメータ更新が以前の運動量の一部を保持するアナロジー的な物理現象で、プラトーや浅い局所的最小値を越えることを可能にします。慣性は複雑で非凸な損失地形をナビゲートするのに特に効果的です。

← 戻る