AI用語集
人工知能の完全辞典
ニューラルアーキテクチャサーチ (NAS)
与えられたタスクに対して最適なニューラルネットワークアーキテクチャの設計を自動化するプロセス。トポロジーとハイパーパラメータの広範な探索空間を探索する。
アーキテクチャ探索空間
層の数、操作の種類、接続スキームなどの制約によって定義された、すべての可能なニューラルネットワークアーキテクチャの集合。
代理モデル (サロゲートモデル)
高価な性能関数（ニューラルネットワークの訓練）を近似する統計モデルで、最適化プロセスを加速するために使用される。
期待改善度 (Expected Improvement - EI)
現在の最高の性能からの改善の期待値を最大化することにより、次に評価する点を選択する獲得関数の基準。
強化学習ベースNAS
コントローラー（多くの場合リカレントネットワーク）が性能報酬を最大化することでニューラルネットワークアーキテクチャを生成することを学習するNASアプローチ。
進化的NAS
突然変異と交叉のオペレーターをアーキテクチャの母集団に使用して、より良いアーキテクチャを見つける、生物学的進化に触発されたNAS手法。
低忠実度評価
コストを削減するために、削減されたデータ、少ない訓練エポック、またはデータセットのサブセットを使用してアーキテクチャの性能を推定する戦略。
勾配ベースNAS
アーキテクチャの離散的な選択問題を連続問題に緩和し、勾配降下法を使用してアーキテクチャの重みを最適化できるようにするNAS技術。
ハイパーネットワーク
別のネットワーク（ハイパーネットワーク）によって重みが生成されるニューラルネットワークで、アーキテクチャのファミリーをパラメータ化し最適化することを可能にします。
アーキテクチャセル
ニューラルネットワークアーキテクチャ内の繰り返し可能な構成要素で、その内部構造がNASによって最適化され、最終的なモデルを形成するために積み重ねられます。
多目的最適化NAS
精度、レイテンシー、エネルギー消費など複数のメトリクスを同時に最適化し、最適なトレードオフを見つけることを目指すNASの変種です。
構造化パルツェンツリー法（TPE）
良い設定と悪い設定の分布をパルツェンツリーモデルを使用してモデル化し、探索を導くベイズ最適化アルゴリズムです。
バンディット学習ベースNAS
アーキテクチャコンポーネントの選択を多腕バンディット問題として扱い、探索と活用のバランスを取りながらモデルを構築するNASアプローチです。
性能プロキシ
アーキテクチャの最終的な性能を推定するために使用される低コストのメトリクスまたはモデルで、探索フェーズでの完全で長時間のトレーニングを避けます。
縮小探索空間
NASアルゴリズムの収束を高速化するために、アーキテクチャの探索空間を定義済みのブロックやパターンに限定する戦略です。
アーキテクチャ間の重み共有
評価される複数の候補アーキテクチャ間でニューラルネットワークの重みを共有する技術で、NAS探索の計算コストを大幅に削減します。