AI 詞彙表

📖

術語

前瞻机制

一种优化技术，它维护两组权重：频繁更新的快速权重和跟踪快速权重平均值以提高泛化能力的慢速权重。

📖

術語

梯度动量

优化方法中的一个加速参数，它以指数衰减因子累积先前的梯度，有助于克服局部最小值并加速收敛。

📖

術語

重启策略

一种方法，其中动量周期性地重置为零，以避免振荡并改善使用Nesterov加速的非凸优化问题的收敛性。

📖

術語

自适应动量估计

动量方法的扩展，它通过结合NAG的优点和梯度的自适应归一化，动态调整每个参数的学习率。

📖

術語

梯度噪声尺度

量化随机梯度方差与梯度范数之间比率的参数，影响NAG方法中最佳批次大小的选择。

📖

術語

热身策略

一种逐步初始化学习率和动量以稳定NAG训练早期阶段的技术，在深度网络中尤为重要。

📖

術語

损失景观平滑

NAG的一种有益效果，它隐式地修改损失函数表面，在最小值周围创建更宽的吸引盆地，从而促进优化。

📖

術語

加速坐标下降

坐标下降的一种变体，它结合了Nesterov加速原理，以有效优化具有稀疏结构的高维问题。

📖

術語

前向-后向分裂

用于复合优化的不动点算法，其中 Nesterov 加速应用于问题的光滑部分，同时通过近端算子处理约束。

📖

術語

最优传输梯度

NAG 在基于最优传输的优化问题中的应用，其中加速能够有效处理质量和守恒约束。