人工智能完整詞典
一种时间序列平滑技术，它赋予近期观测值更大的权重，同时保留对过去观测值的记忆。在 RMSprop 中，它用于估计近期迭代中梯度平方的平均值。
一个函数相对于其每个变量的偏导数向量，指示最大增长的方向。在优化中，负梯度指向损失函数最大下降的方向。
一种正则化技术，通过向损失函数添加 L2 正则化项来惩罚大的权重。它有助于防止过拟合，并促进具有较小权重的更简单模型。