AI用語集
人工知能の完全辞典
グリッドサーチ
事前に定義されたグリッド上でハイパーパラメータの可能なすべての組み合わせを系統的に評価する網羅的最適化手法。このアプローチは最適な構成の発見を保証しますが、高次元空間では非効率的であることがよくあります。
ランダムサーチ
指定された分布に従ってハイパーパラメータの組み合わせをランダムにサンプリングする最適化手法。関連領域に探索を集中させることで、高次元空間ではグリッドサーチより効率的であることが示されています。
BOHB
ベイズ最適化とHyperbandのハイブリッド組み合わせで、適応的リソース割り当ての枠内で設定の選択を導くためにTPEモデルを統合しています。この相乗効果的な方法は、ベイズ探索の効率性とHyperbandの迅速な除去を組み合わせています。
パルゼンツリーサーチ
良好な構成と悪い構成のハイパーパラメータの分布を個別にモデル化するベイズ最適化の変種。アルゴリズムは、高性能な構成がより確からしい領域を優先的にサンプリングします。
遺伝的アルゴリズム
自然進化に着想を得た最適化手法で、選択、交叉、突然変異を通じて構成の集団を進化させます。離散的な探索空間や複数の局所的最適解を持つ問題に特に適しています。
粒子群最適化
群れの社会的行動をシミュレートして探索空間を探索するメタヒューリスティック手法。各粒子は、自己の最良な経験と最もパフォーマンスの高い近隣の経験に基づいて軌道を調整します。
条件付きハイパーパラメータ
存在または値の範囲が他のハイパーパラメータの値に依存するハイパーパラメータで、探索空間に依存構造を作成します。これらの管理には、階層的空間に適応した最適化戦略が必要です。
多目的最適化
精度と遅延など、しばしば互いに矛盾する複数の目的を同時に管理するハイパーパラメータ最適化の拡張。可能なさまざまなトレードオフを表す最適解のパレートフロントを生成します。
ハイパーパラメータの転移学習
以前のタスクやデータセットで得られたハイパーパラメータの性能に関する知識を再利用する技術。このアプローチは、類似の新しいタスクでの最適化を大幅に加速させる。
ニューロエボリューション
ニューラルネットワークのアーキテクチャと重みの最適化に進化的アルゴリズムを適用する手法。進化の柔軟性とディープネットワークの力を組み合わせて、非従来型の解を見つけ出す。
勾配ベース最適化
ハイパーパラメータを最適化可能なパラメータとして扱い、モデルの損失に対する勾配を計算するアプローチ。効果的な方向性の更新が可能だが、微分可能な目的関数が必要となる。
階層的探索空間
ハイパーパラメータが依存関係のレベルに組織され、パラメータ間の条件付き関係を反映する探索空間構造。最適化は、有効な設定を生成するためにこれらの構造的制約を遵守する必要がある。
ロバスト最適化
トレーニングデータセットだけでなく、将来の変動やノイズに対しても良好な性能を提供するハイパーパラメータを探索するパラダイム。攻撃的な最適化よりも安定性と汎化化を優先する。