小批量梯度下降

梯度噪声

由于mini-batch随机采样导致的梯度估计的固有变异性，有助于跳出局部最小值。这种噪声的特征是其方差与batch大小成反比，并随着收敛而减小。

← 返回