AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
赫西矩阵
标量函数的二阶偏导数组成的方阵，包含用于改善收敛性的局部曲率信息。
術語
牛顿方向
计算为海森矩阵的逆乘以梯度，表示根据局部二次近似的最佳下降方向的搜索向量。
術語
牛顿步
迭代更新 x_{k+1} = x_k - H^{-1}(x_k)∇f(x_k)，其中 H 是海森矩阵，实现二次近似并精确求解局部子问题。
術語
牛顿-拉夫逊法
牛顿法的历史版本，最初用于求解非线性方程，后来推广到多维优化。
術語
二阶泰勒展开
函数的二阶泰勒展开式进行的局部近似，是牛顿法中使用海森矩阵的理论基础。
術語
海森矩阵正则化
一种向海森矩阵添加 λI 项以确保其正定性的技术，避免当海森矩阵病态时出现无效的下降方向。
術語
拟牛顿法
一类算法，通过连续的梯度信息近似海森矩阵或其逆，避免了直接计算二阶导数的计算成本。
術語
BFGS算法
一种流行的拟牛顿法（Broyden-Fletcher-Goldfarb-Shanno），通过构造保证海森矩阵逆的近似是正定的。
術語
DFP 算法
第一种拟牛顿法 (Davidon-Fletcher-Powell)，使用对称更新公式来近似Hessian矩阵的逆，并保持正定性。
術語
高斯-牛顿法
一种专门用于非线性最小二乘问题的算法，通过 J^TJ 来近似Hessian矩阵，其中 J 是残差的雅可比矩阵。
術語
莱文贝格-马夸特法
一种混合算法，介于高斯-牛顿法和梯度下降法之间，使用阻尼参数来控制正则化。
術語
临界点
梯度为零的点 (∇f(x*) = 0)，牛顿法将其识别为局部最小值、最大值或鞍点的候选。
術語
沃尔夫条件
牛顿法中带有线搜索的步长选择准则，确保函数有足够的下降，同时保持适当的曲率。
術語
线搜索
确定给定方向上最优步长的子问题，对于保证牛顿法的全局收敛性至关重要。
術語
截断牛顿法
一种变体，使用共轭梯度法等迭代方法近似求解线性系统 H d = -∇f，适用于大规模问题。
術語
稀疏Hessian矩阵
主要包含零的Hessian矩阵，在牛顿法处理结构化问题时，可以实现显著的计算优化。
🔍