AI 词汇表

📖

个术语

单次NAS

NAS方法，训练一个包含所有可能架构的超网络，无需完全重新训练即可快速评估。此方法显著降低了搜索的计算成本。

📖

个术语

可微分架构搜索

NAS方法，将离散的搜索空间放宽为连续优化问题，允许使用梯度下降技术。实现架构的有效和可微分探索。

📖

个术语

架构空间

NAS框架中用于构建神经网络架构的操作和连接的预定义集合。定义了搜索的约束和复杂性。

📖

个术语

性能估计器

无需完全训练即可评估架构性能的机制，对加速NAS过程至关重要。使用代理、共享权重或预测模型。

📖

个术语

搜索策略

用于探索架构空间并识别最佳配置的算法或方法。可基于强化、进化、梯度或混合方法。

📖

个术语

元NAS

应用元学习加速和改进神经架构搜索，利用先前在类似任务上的搜索知识。实现对新领域的快速适应。

📖

个术语

基于单元的架构

NAS方法，通过重复优化单元（普通或降维单元）构建完整网络架构。减少搜索空间同时保持表达能力。

📖

个术语

架构编码

神经网络架构的形式化表示，以向量、图或序列形式进行算法操作。对基于优化的搜索策略至关重要。

📖

个术语

Proxy Tasks

用于在完整验证前快速评估架构性能的简化或缩减任务。能够有效筛选出有潜力的候选架构。

📖

个术语

Multi-Objective NAS

神经架构搜索（NAS）的扩展，同时优化多个目标，如准确度、延迟、能耗或模型大小。需要帕累托最优优化技术。

📖

个术语

Progressive NAS

一种NAS策略，从简单架构开始，逐步向更复杂的解决方案进行优化。在优化资源的同时平衡探索与利用。

📖

个术语

Architecture Sharing

在不同架构之间共享权重以加速评估并降低计算成本的技术。在One-Shot和DARTS方法中是基础。

📖

个术语

Hyperparameter Optimization in NAS

同时优化架构和超参数（如学习率、正则化或优化器）的过程。对于实现最佳性能至关重要。