AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
网格搜索
一种穷举优化方法，系统地评估预定义网格上所有可能的超参数组合。这种方法保证找到最优配置，但对于高维空间往往效率低下。
術語
随机搜索
根据指定分布随机采样超参数组合的优化技术。对于高维空间，它比网格搜索更有效，通过将探索集中在相关区域。
術語
BOHB
贝叶斯优化与Hyperband的混合组合，集成TPE模型在自适应资源分配框架内引导配置选择。这种协同方法结合了贝叶斯搜索的效率与Hyperband的快速淘汰机制。
術語
Parzen树搜索
贝叶斯优化的变体，分别为良好和不良配置建模超参数分布。该算法优先在性能配置更可能出现的区域进行采样。
術語
遗传算法
受自然进化启发的优化方法，通过选择、交叉和变异使配置种群进化。特别适用于离散搜索空间和具有多个局部最优的问题。
術語
粒子群优化
模拟群体社会行为以探索搜索空间的元启发式技术。每个粒子根据其最佳个人经验和最佳邻域经验调整轨迹。
術語
条件超参数
存在性或值范围依赖于其他超参数值的超参数，在搜索空间中创建依赖结构。其管理需要适应分层空间的优化策略。
術語
多目标优化
超参数优化的扩展，同时管理多个通常相互矛盾的目标，如精度和延迟。它产生一个帕累托前沿的最优解，代表可能的权衡。
術語
超参数学习迁移
一种技术，它重用在先前任务或数据集上获得的关于超参数性能的知识。这种方法显著加快了在类似新任务上的优化过程。
術語
神经进化
将进化算法应用于神经网络架构和权重的优化。它结合了进化的灵活性和深度网络的强大功能，以发现非传统的解决方案。
術語
基于梯度的优化
一种将超参数视为可优化参数，并计算其相对于模型损失梯度的方法。它允许高效的方向性更新，但需要可微的目标函数。
術語
分层搜索空间
一种搜索空间结构，其中超参数按依赖级别组织，反映了参数之间的条件关系。优化必须遵守这些结构约束以生成有效的配置。
術語
鲁棒优化
一种寻找超参数的范式，不仅要在训练数据集上表现良好，还要面对未来的变化和噪声。它优先考虑稳定性和泛化，而非激进的优化。
🔍