动量

经典动量

一种优化技术，它通过衰减因子累积过去的梯度，在权重更新中产生惯性。这种方法可以在恒定方向上加速收敛，同时抑制振荡。

← 返回