AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
BFGS
一种迭代拟牛顿优化算法，通过近似逆海森矩阵来寻找无约束函数的最小值。
術語
海森近似
一种在不直接计算函数二阶导数的情况下，利用梯度信息逐步构建近似海森矩阵的技术。
術語
近似逆矩阵
在拟牛顿方法中逐步构建的海森矩阵的逆的近似值，用于确定最优下降方向。
術語
线搜索
一种迭代过程，用于确定在下降方向上的最优步长，以在每次迭代中最小化目标函数。
術語
BFGS校正
BFGS算法中更新海森近似的公式，它在满足割线方程的同时，保持矩阵的对称性和正定性。
術語
有限内存
L-BFGS中的一种策略，仅保留固定数量的先前迭代信息来重建海森近似，从而降低空间复杂度。
術語
超线性收敛
BFGS方法的一种特性，其中连续误差的比率趋于零，提供比线性收敛更快但比二次收敛慢的收敛速度。
術語
割线方程
拟牛顿方法中施加的一个条件，确保海森近似能正确地将梯度差转换为点差。
術語
缩放因子
L-BFGS中的初始参数，用于调整初始Hessian近似，以改善在病态问题上的收敛性。
術語
校正向量
L-BFGS中存储的向量对(s, y)，其中s代表位移，y代表梯度差，用于重建Hessian近似。
術語
下降方向
通过将Hessian逆近似乘以负梯度计算得到的向量，指示最小化函数的最优方向。
術語
初始Hessian
拟牛顿方法中的起始矩阵，通常是乘以一个尺度因子的单位矩阵，作为后续迭代的基础。
術語
双循环算法
L-BFGS的一种高效实现，利用两个循环来计算下降方向，而无需显式重建完整的Hessian矩阵。
🔍