AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
一阶矩
Adam中梯度的指数移动平均，代表一阶统计矩（均值）的估计，用于指导参数更新的方向。
術語
二阶矩
Adam中梯度平方的指数移动平均，代表非中心二阶统计矩（非中心方差）的估计，用于调整更新的幅度。
術語
Beta1
Adam的超参数，控制一阶矩（梯度）指数移动平均的衰减率，通常设为0.9，以平衡新信息和历史信息。
術語
Beta2
Adam的超参数，控制二阶矩（梯度平方）指数移动平均的衰减率，通常设为0.999，以实现稳定的方差估计。
術語
AMSGrad
Adam的一种改进，它保留了二阶矩估计的最大值，以确保理论上的收敛性，避免有效学习率的非单调增加。
術語
学习率衰减策略
Adam中逐步降低学习率的策略，常用于在训练后期通过减小步长来优化收敛。
🔍