AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
步长衰减
调度方法，它按预定的周期间隔通过乘法因子降低学习率。这种简单但有效的方法允许学习率的突然降低，以逐步细化模型。
術語
指数衰减
学习率根据预定义的数学公式随时间或迭代次数指数级递减的策略。此方法确保在整个训练过程中学习率持续而逐渐地降低。
術語
预热
训练初始阶段，学习率从一个较低值逐渐增加到目标值。该技术稳定了学习的初始步骤，并防止深度架构中模型的发散。
術語
循环学习率
学习率在定义的下限和上限之间周期性变化的振荡策略。此方法允许探索参数空间的不同区域，并可以加速收敛。
術語
单周期策略
调度策略，将学习率增加到最大值然后减小到最终值，通常与动量成反比变化的组合。这种方法在快速训练神经网络方面表现出卓越的性能。
術語
平台衰减学习率
当性能指标在设定的周期数内停止改善时，自适应地降低学习率的机制。此策略根据模型的实际性能动态调整学习率。
術語
学习率查找器
通过观察模型在指数级增加的学习率上的损失来确定最佳学习率范围的实证技术。此方法识别模型发散前的最大可行值。
術語
SGDR
带重启的随机梯度下降，SGD的变体，它根据余弦退火策略集成学习率的周期性重启。该技术允许逃离局部极小值并改善泛化能力。
術語
学习率热重启
结合周期性学习率重启和每个周期渐进热身阶段的调度策略。这种混合方法优化了参数空间中的探索和利用。
術語
多项式衰减
根据时间或训练步数的多项式函数降低学习率的策略。该方法通过功率参数提供对衰减速度的精细控制。
術語
反时间衰减
学习率与时间或迭代次数成反比的调度方法，遵循alpha/(1 + decay_rate * step)类型的函数。这种方法确保了比指数衰减更温和的减少。
術語
学习率范围测试
在单个周期内训练模型同时在对数范围内变化学习率的诊断程序。结果有助于识别循环学习率策略的最佳边界。
術語
学习率动量
学习率调度与动量参数调整之间的协调，以优化收敛。这种同步方法可以显著提高训练的稳定性和速度。
🔍