AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
赫西矩阵
标量函数的二阶偏导数组成的方阵，包含用于改善收敛性的局部曲率信息。
个术语
牛顿方向
计算为海森矩阵的逆乘以梯度，表示根据局部二次近似的最佳下降方向的搜索向量。
个术语
牛顿步
迭代更新 x_{k+1} = x_k - H^{-1}(x_k)∇f(x_k)，其中 H 是海森矩阵，实现二次近似并精确求解局部子问题。
个术语
牛顿-拉夫逊法
牛顿法的历史版本，最初用于求解非线性方程，后来推广到多维优化。
个术语
二阶泰勒展开
函数的二阶泰勒展开式进行的局部近似，是牛顿法中使用海森矩阵的理论基础。
个术语
海森矩阵正则化
一种向海森矩阵添加 λI 项以确保其正定性的技术，避免当海森矩阵病态时出现无效的下降方向。
个术语
拟牛顿法
一类算法，通过连续的梯度信息近似海森矩阵或其逆，避免了直接计算二阶导数的计算成本。
个术语
BFGS算法
一种流行的拟牛顿法（Broyden-Fletcher-Goldfarb-Shanno），通过构造保证海森矩阵逆的近似是正定的。
个术语
DFP 算法
第一种拟牛顿法 (Davidon-Fletcher-Powell)，使用对称更新公式来近似Hessian矩阵的逆，并保持正定性。
个术语
高斯-牛顿法
一种专门用于非线性最小二乘问题的算法，通过 J^TJ 来近似Hessian矩阵，其中 J 是残差的雅可比矩阵。
个术语
莱文贝格-马夸特法
一种混合算法，介于高斯-牛顿法和梯度下降法之间，使用阻尼参数来控制正则化。
个术语
临界点
梯度为零的点 (∇f(x*) = 0)，牛顿法将其识别为局部最小值、最大值或鞍点的候选。
个术语
沃尔夫条件
牛顿法中带有线搜索的步长选择准则，确保函数有足够的下降，同时保持适当的曲率。
个术语
线搜索
确定给定方向上最优步长的子问题，对于保证牛顿法的全局收敛性至关重要。
个术语
截断牛顿法
一种变体，使用共轭梯度法等迭代方法近似求解线性系统 H d = -∇f，适用于大规模问题。
个术语
稀疏Hessian矩阵
主要包含零的Hessian矩阵，在牛顿法处理结构化问题时，可以实现显著的计算优化。
🔍