ミニバッチ勾配降下法

勾配ノイズ

ミニバッチの確率的サンプリングに起因する勾配推定の固有の変動性であり、局所解から脱出するのに役立つ可能性がある。このノイズはバッチサイズに反比例する分散を特徴とし、収束に伴って減少する。

← 戻る