AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
基于梯度的超参数优化
一种利用梯度来连续调整超参数的优化方法，比传统搜索方法实现更快的收敛。
術語
超梯度
损失函数相对于超参数的梯度，通过模型参数优化过程使用自动微分计算得出。
術語
双层优化
一种分层优化问题，其中超参数（上层）在参数（下层）收敛后优化模型性能。
術語
隐式微分
一种无需显式反向传播即可计算梯度的技术，使用隐函数定理处理优化平衡点。
術語
超参数敏感性分析
定量研究超参数变化对模型性能影响的分析，使用梯度信息识别关键参数。
術語
可微分编程
一种编程范式，其中程序完全可微分，允许通过梯度优化包括超参数在内的所有计算方面。
術語
展开优化
一种将参数优化步骤显式展开到计算图中的技术，允许通过优化过程进行反向传播。
術語
超参数微分
计算目标函数相对于超参数的偏导数的数学过程，通常通过反向链式法则实现。
術語
超参数的梯度下降
直接将梯度下降算法应用于超参数空间，对离散参数使用连续近似
術語
神经架构优化
NAS的子领域，使用梯度方法来持续发现和优化神经网络架构
術語
超参数正则化
在目标函数中对超参数添加惩罚项，以稳定其梯度优化并避免过拟合
術語
可微分增强搜索
通过梯度优化数据增强策略，将增强选择视为概率空间中的连续参数
🔍