方差减少技术

小批量

完整数据集的一个中等大小的子集，用于在每次迭代中计算梯度估计。与纯 SGD 相比，小批量减少了方差，同时比完整梯度计算更高效。

← 返回