AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
一阶矩
Adam中梯度的指数移动平均，代表一阶统计矩（均值）的估计，用于指导参数更新的方向。
个术语
二阶矩
Adam中梯度平方的指数移动平均，代表非中心二阶统计矩（非中心方差）的估计，用于调整更新的幅度。
个术语
Beta1
Adam的超参数，控制一阶矩（梯度）指数移动平均的衰减率，通常设为0.9，以平衡新信息和历史信息。
个术语
Beta2
Adam的超参数，控制二阶矩（梯度平方）指数移动平均的衰减率，通常设为0.999，以实现稳定的方差估计。
个术语
AMSGrad
Adam的一种改进，它保留了二阶矩估计的最大值，以确保理论上的收敛性，避免有效学习率的非单调增加。
个术语
学习率衰减策略
Adam中逐步降低学习率的策略，常用于在训练后期通过减小步长来优化收敛。
🔍