AI 词汇表
人工智能完整词典
近端算子
一个数学算子，它将凸集上的投影推广，定义为 argmin_y{f(y) + (1/2λ)||y-x||²}。它能够有效地处理带有不可微正则项（如L1范数）的优化问题。
近端函数
一个下半连续的凸函数，其近端算子定义良好。包括L1范数、凸集的指示函数和组惩罚等闭凸函数。
ISTA算法
迭代软阈值算法（Iterative Soft-Thresholding Algorithm），一种用于L1正则化的特定近端方法。它执行一个梯度步骤，然后进行软阈值处理，以在解中强制实现稀疏性。
FISTA算法
快速迭代软阈值算法（Fast Iterative Soft-Thresholding Algorithm），是ISTA的加速版本，使用了Nesterov加速技术。对于带有L1正则化的凸问题，它能达到O(1/k²)的最优收敛速度。
Nesterov加速
一种用于一阶梯度方法的加速技术，利用记忆惯性项。它显著地将凸问题的收敛速度从O(1/k)提高到O(1/k²)。
Lipschitz条件
目标函数的梯度是L-Lipschitz连续的假设，确保了稳定的收敛。它决定了近端方法中允许的最大步长。
Moreau-Yosida正则化
通过二次卷积平滑不可微凸函数的技术。它创建C1函数，同时通过Moreau包络保留原始最小值。
结构化问题
具有特定结构的优化问题，可被近端方法利用。包括组正则项、混合范数和复杂的结构约束。
近端交替方向乘子法
结合了近端算子的交替方向乘子法，适用于复杂约束问题。它将问题分解为更简单的子问题，通过交替求解并更新乘子来解决。
线性收敛
一种几何收敛速度，其中误差随迭代次数呈指数下降。在强凸性或有界均方误差条件下，近端方法可以达到此收敛速度。
可变步长
近端方法中学习步长选择的自适应策略。回溯线搜索等技术通过根据局部曲率动态调整λ来优化收敛。
随机近端梯度
近端梯度的随机版本，使用小批量处理大规模问题。它结合了随机梯度下降（SGD）的计算效率和处理不可微正则项的能力。
近端不动点
将近端方法表述为收缩算子上的不动点迭代。在满足Lipschitz条件和适当凸性条件下，保证唯一收敛。
复合优化
对结合了光滑项和非光滑项的复合目标函数进行优化。是统计学习和信号处理中近端梯度方法的主要应用领域。