AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
随机牛顿法
一种优化算法，以随机方式近似Hessian矩阵以加速收敛，结合了SGD的计算效率与二阶收敛特性。
个术语
L-BFGS（有限内存BFGS）
拟牛顿法的变体，仅使用最近m次迭代来近似逆Hessian矩阵，大幅降低内存复杂度同时保持二阶优势。
个术语
K-FAC（Kronecker分解近似曲率）
二阶优化方法，通过较小矩阵的Kronecker乘积来近似Fisher矩阵，使深度神经网络的计算更高效。
个术语
自然梯度下降
使用Fisher信息矩阵作为预条件器的优化算法，保证模型重新参数化下的收敛不变性。
个术语
AdaHessian
使用Hutchinson近似估计Hessian矩阵对角线的自适应优化器，根据局部曲率自适应调整每个参数的学习率。
个术语
Shampoo优化器
二阶优化器，使用权重张量的Kronecker矩阵近似对梯度进行预条件化，自适应于模型参数结构。
个术语
LAMB（分层自适应矩优化器）
自适应优化器，使用权重和梯度的范数逐层调整学习率，结合Adam优势与网络结构特定自适应。
个术语
Sophia优化器
二阶优化方法，结合对角Hessian估计与随机动量控制，根据局部曲率动态调整更新方向。
个术语
子采样牛顿法
牛顿方法的变体，使用数据子集来估计梯度和海森矩阵，在保持局部二次收敛特性的同时降低计算复杂度。
个术语
随机拟牛顿法
一类算法，以随机方式维护海森矩阵逆的近似，平衡计算复杂度和收敛速率。
个术语
对角高斯-牛顿法
海森矩阵的近似，仅使用高斯-牛顿矩阵的对角元素，显著降低大规模问题的计算成本。
个术语
TNSR（张量归一化二阶正则化）
一种方法，通过根据曲率估计归一化梯度张量来应用二阶正则化，稳定深度网络的训练。
个术语
在线牛顿步
一种在线优化算法，维护海森矩阵逆的近似，根据顺序观测动态调整参数更新。
个术语
随机递归梯度算法
一种使用递归技术有效近似二阶信息的方法，同时保持传统SGD的线性复杂度。
🔍