AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
RMSprop
自适应优化方法，使用梯度的平方的加权移动平均值来归一化学习率，从而防止震荡并加速收敛。
个术语
AdaGrad
优化算法，根据梯度的平方的历史总和来调整每个参数的学习率，允许对不频繁的参数进行更大的更新。
个术语
AdaDelta
AdaGrad的扩展，通过使用过去梯度的滑动窗口而非累积和来解决学习率单调递减的问题。
个术语
Weight Decay
正则化方法，通过向损失函数添加L2项来惩罚较大的权重，有助于防止过拟合并提高泛化能力。
个术语
Beta Parameters (Adam)
超参数β1和β2分别控制梯度移动平均（一阶矩）及其方差（二阶矩）的指数衰减率。
个术语
Bias Correction
Adam中的机制，用于修正矩估计值初始偏向零的问题，确保在训练初期特别重要的无偏估计。
个术语
Exponential Moving Average (EMA)
平滑技术，给予近期观测值更大的权重，用于自适应优化器中估计梯度矩。
个术语
YOGI
Adam的变体，使用自适应方差控制器来稳定训练，在数据呈现非平稳分布或梯度噪声时特别有效。
个术语
循环学习率
一种策略，它使学习率在最小值和最大值之间循环变化，允许模型逃离局部最小值并探索不同的吸引盆地。
🔍