AI 词汇表

📖

个术语

Kiefer-Wolfowitz 过程

Robbins-Monro算法在优化领域的扩展，使用有噪声的有限差分来估计梯度并找到函数的极值。

📖

个术语

随机牛顿法

牛顿法的一种随机变体，其中Hessian矩阵根据有噪声的观测值进行估计，从而加速向最优解的收敛。

📖

个术语

随机梯度下降 (SGD)

一种优化算法，通过使用在数据子集上计算出的梯度噪声估计来更新参数。

📖

个术语

自适应步长

在随机逼近算法中动态调整步长大小的策略，以优化收敛速度和稳定性。

📖

个术语

Robbins-Monro 条件

关于步长序列的数学条件（和为无穷但平方和为有限），用于保证随机逼近算法的收敛性。

📖

个术语

随机逼近中的偏差与方差

分析由非零步长引起的估计偏差与观测中噪声引起的方差之间的权衡，以优化性能。

📖

个术语

SPSA 方法

同时扰动随机逼近，一种高效的技术，仅通过两次函数测量来同时扰动所有参数以估计梯度。

📖

个术语

测量噪声

影响目标函数观测值的随机误差，通常被建模为具有已知统计特性的加性白噪声。

📖

个术语

学习率衰减

通常形式为 a/(n+b) 的递减步长序列，其中 n 是迭代次数，在保持有效学习率的同时确保收敛。

📖

个术语

小批量梯度

批量梯度和随机梯度之间的中间变体，使用小批量观测值来减少梯度估计的方差。

📖

个术语

随机近似中的动量

通过添加基于先前梯度的惯性来加速收敛的技术，在高曲率方向上减弱振荡。

📖

个术语

ADAM算法

自适应矩估计，一种结合动量和参数自适应学习率的优化方法，在深度学习中特别有效。

📖

个术语

利普希茨条件

目标函数的正则性假设，保证梯度变化的界限，对于证明随机算法的收敛性至关重要。