AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
BFGS
一种迭代拟牛顿优化算法，通过近似逆海森矩阵来寻找无约束函数的最小值。
个术语
海森近似
一种在不直接计算函数二阶导数的情况下，利用梯度信息逐步构建近似海森矩阵的技术。
个术语
近似逆矩阵
在拟牛顿方法中逐步构建的海森矩阵的逆的近似值，用于确定最优下降方向。
个术语
线搜索
一种迭代过程，用于确定在下降方向上的最优步长，以在每次迭代中最小化目标函数。
个术语
BFGS校正
BFGS算法中更新海森近似的公式，它在满足割线方程的同时，保持矩阵的对称性和正定性。
个术语
有限内存
L-BFGS中的一种策略，仅保留固定数量的先前迭代信息来重建海森近似，从而降低空间复杂度。
个术语
超线性收敛
BFGS方法的一种特性，其中连续误差的比率趋于零，提供比线性收敛更快但比二次收敛慢的收敛速度。
个术语
割线方程
拟牛顿方法中施加的一个条件，确保海森近似能正确地将梯度差转换为点差。
个术语
缩放因子
L-BFGS中的初始参数，用于调整初始Hessian近似，以改善在病态问题上的收敛性。
个术语
校正向量
L-BFGS中存储的向量对(s, y)，其中s代表位移，y代表梯度差，用于重建Hessian近似。
个术语
下降方向
通过将Hessian逆近似乘以负梯度计算得到的向量，指示最小化函数的最优方向。
个术语
初始Hessian
拟牛顿方法中的起始矩阵，通常是乘以一个尺度因子的单位矩阵，作为后续迭代的基础。
个术语
双循环算法
L-BFGS的一种高效实现，利用两个循环来计算下降方向，而无需显式重建完整的Hessian矩阵。
🔍