AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
基于动量的SGD
SGD的一种变体，包含先前更新的记忆以减少振荡并加速梯度一致方向上的收敛。
个术语
小批量SGD
SGD和批量梯度之间的折衷方案，使用小的数据子集来估计梯度，在收敛速度和数值稳定性之间提供更好的平衡。
个术语
Nesterov加速梯度 (NAG)
Momentum的改进变体，在计算梯度之前执行预测步骤，理论上产生更优越的收敛性和更好的数值稳定性。
个术语
AdamW
Adam的修改版，将权重衰减与自适应更新分离，在持续学习环境中改善泛化能力和稳定性。
个术语
AdaMax
Adam的扩展，使用过去梯度的无穷范数而非L2范数，在某些极端的序列数据情况下提供更好的数值稳定性。
个术语
Nadam
Nesterov动量和Adam的结合，将Nesterov加速集成到Adam的自适应框架中，可能实现更快的收敛。
🔍