AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个子类别
随机梯度下降 (SGD)
一种基础优化算法，在每次迭代中使用一个随机样本来更新参数。
7 个术语
个子类别
小批量梯度下降
SGD的变体，使用小批量样本来平衡方差和计算效率。
3 个术语
个子类别
基于动量的优化
结合惯性以加速收敛并减少窄谷中振荡的技术。
14 个术语
个子类别
自适应学习率方法
像Adam和RMSprop这样的算法，它们为每个参数动态调整学习率。
9 个术语
个子类别
方差减少技术
像SVRG和SAGA这样的方法，它们减少了梯度估计的方差以提高收敛速度。
14 个术语
个子类别
分布式随机梯度下降
将SGD并行化到多台机器上以加速大规模模型训练的方法。
9 个术语
个子类别
非凸优化
针对深度神经网络中典型非凸函数优化的专门技术。
13 个术语
个子类别
学习率调度
在训练期间调整学习率以优化收敛性的策略
13 个术语
个子类别
二阶随机方法
利用二阶近似信息来加速收敛的算法。
14 个术语
个子类别
联邦学习优化
适用于去中心化数据隐私保护分布式训练的适配SGD方法
3 个术语
个子类别
鲁棒随机优化
使优化对噪声数据和对抗攻击具有鲁棒性的技术。
3 个术语
个子类别
在线学习优化
适用于数据顺序到达且需要持续更新场景的SGD变体
6 个术语
🔍