AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
子類別
梯度下降
一种迭代优化算法，沿着梯度的反方向移动以最小化函数。
3 術語
子類別
随机梯度下降
梯度下降的一种变体，在每次迭代中使用一个随机的单一样本。
2 術語
子類別
小批量梯度下降
介于梯度下降和随机梯度下降之间，使用小批量样本更新参数。
2 術語
子類別
动量
通过在梯度更新中加入惯性分量来加速收敛的技术。
14 術語
子類別
Nesterov 加速梯度
动量的一种变体，它预测未来位置以实现更精确的更新。
10 術語
子類別
Adagrad
基于历史梯度平方和的自适应学习率
10 術語
子類別
RMSprop
一种自适应方法，它使用梯度平方的移动平均值来归一化更新。
3 術語
子類別
Adam 优化器
结合了动量和 RMSprop，并对一阶和二阶矩进行自适应估计。
6 術語
子類別
AdamW
Adam的一种变体，具有解耦的L2正则化，以获得更好的性能。
10 術語
子類別
AdaDelta
Adagrad 的扩展，限制了历史累积以实现稳定的学习率。
8 術語
子類別
牛顿法
使用Hessian矩阵实现局部二次收敛的算法
16 術語
子類別
BFGS 和 L-BFGS
近似海森矩阵的拟牛顿法，具有有限内存（L-BFGS）。
13 術語
子類別
共轭梯度
一种用于大型线性系统和非线性优化的有效迭代方法。
10 術語
子類別
投影梯度下降
一种用于约束优化的技术，通过将解投影到可行集上。
15 術語
子類別
近端梯度方法
结合梯度下降和近端算子的非光滑函数算法。
14 術語
🔍