AI用語集
人工知能の完全辞典
モデル蒸留
モデル圧縮手法の一つで、大規模で複雑なモデル（教師モデル）が、より小さく高速なモデル（生徒モデル）に出力（ソフト確率を含む）を再現させることで知識を転移し、複雑さを低減しながら同等に近い性能を達成する方法。
ハイパーパラメータ最適化
モデルに対して最適なハイパーパラメータの組み合わせ（例：学習率、バッチサイズ）を体系的に探すプロセス。グリッド探索、ランダム探索、ベイズ最適化などの手法を用いて、特定のデータセットでのモデルの性能を最大化する。
ファインチューニング
大規模なデータで事前学習されたモデルを、より小さくターゲットに特化したデータセットで追加学習させることで、特定のタスクに適応させる技術。これにより、少ないデータと計算時間で高性能な結果が得られる。
推論最適化
本番環境でのモデル予測フェーズにおけるレイテンシと計算コストを削減するための技術群。量子化、特定のハードウェアアクセラレータ（TPU、GPU）向けのコンパイル、計算グラフの最適化などを含む。
モデルコンパイル
TensorFlowやPyTorchなどのフレームワークから得られたモデルの計算グラフを、特定のターゲットハードウェア（CPU、GPU、TPU）用に高度に最適化された実行可能形式に変換するプロセス。オペレーションの融合などの低レベル最適化を適用する。
オペレータ融合
複数の基本的な計算グラフのオペレーション（例：畳み込みの後にバイアス加算と活性化関数を適用）を単一のカーネルオペレーションに結合するコンパイル技術。これによりメモリオーバーヘッドとメモリアクセスが削減され、実行が高速化される。
ONNX (Open Neural Network Exchange)
異なるAIフレームワーク（PyTorch、TensorFlowなど）と推論ランタイム間の相互運用性を可能にする、オープンで標準化されたモデル表現形式。これにより、様々なハードウェアプラットフォームでのデプロイと最適化が容易になる。
スパース学習
各イテレーションでモデルの重みの一部のみを更新する学習パラダイム。これにより、学習段階からスパース構造を維持しながら学習でき、計算とメモリの要件を削減する。
アーキテクチャ検索(NAS)
特定のタスクに対して最適なモデルアーキテクチャの設計を自動化するプロセス。探索アルゴリズム（強化学習、進化アルゴリズムなど）を使用して可能なアーキテクチャの空間を探索し、性能と複雑さのバランスを見つけます。
モデルプロファイリング
トレーニング中または推論中のモデルの性能の詳細な分析。各操作レベルでの実行時間、メモリ使用量、ボトルネックを測定し、最適化の優先ターゲットを特定します。
バッチ正規化の畳み込み
トレーニング後に適用される最適化手法。バッチ正規化層のパラメータ（平均と分散）を前の畳み込み層または線形層の重みとバイアスに統合し、推論時に正規化を計算する必要をなくし、レイテンシーを削減します。
動的計算グラフ
計算グラフが実行のたびに動的に構築されるアプローチ。条件付きのモデル構造（早期終了、再帰型ネットワークなど）を可能にし、入力に応じて適応し、「簡単な」例で計算リソースを節約します。