AI用語集
人工知能の完全辞典
知識蒸留
大規模な拡散モデル（教師）がより小さく高速なモデル（生徒）を訓練し、その出力を再現させる技術。これにより、推論の計算コストを削減する。
プログレッシブ蒸留
反復的な蒸留手法で、各生徒モデルがわずかに高速な教師モデルから学習する。これにより、サンプリングプロセスの指数関数的な高速化が可能となる。
スケジューラ
ノイズ除去プロセスにおけるノイズレベルと時間ステップのシーケンスを定義するアルゴリズム。生成の速度と品質に直接影響を与える。
DDIMスケジューラ
決定論的なスケジューラで、ノイズ除去プロセスの確率性を変更することで、標準的なスケジューラよりもはるかに少ないステップでサンプルを生成できる。
DPM-Solverスケジューラ
高次確率微分方程式ソルバーで、拡散モデルのサンプリングを加速するために設計されている。非常に少ない評価ステップで高品質を達成する。
ワンステップサンプリング
蒸留の目標で、生徒モデルがノイズの多い入力から単一のノイズ除去ステップでクリーンな出力を生成するように訓練される。
潜在リサンプリング
中間状態を再サンプリングしてノイズ除去軌道を変更し、必要な総ステップ数を削減する高速化戦略。
一貫性モデル
ノイズ軌道の任意の点を直接軌道の開始点にマッピングするように訓練された生成モデルのファミリー。単一ステップまたは非常に少ないステップでのサンプリングを可能にする。
軌道蒸留 (Trajectory Distillation)
教師モデルの複数ステップにわたる完全なノイズ除去軌道を模倣するように学習する蒸留の変種であり、単一ステップに焦点を当てるのではなく、全体的な軌道を学習する。
線形多段スケジューラ (Linear Multistep Scheduler)
線形多段法に基づくスケジューラで、少ないサンプリングステップ数で高速かつ安定した収束を実現するように最適化されている。
トークンマージによる高速化 (Token Merging Acceleration)
ノイズ除去器（多くの場合U-Net Transformer）の計算複雑性を、各ノイズ除去ステップで意味的に類似したトークンを統合することで削減する技術。
均一ノイズ除去 (Uniform Denoising)
均等に間隔を空けたタイムステップを使用するサンプリング戦略で、高度なソルバーと組み合わせて、少ないステップ数で効率を最大化することが多い。
敵対的蒸留 (Adversarial Distillation)
識別器ネットワークを使用して生徒モデルが教師モデルの分布特性を学習するのを助けるアプローチで、高速生成の忠実性を向上させる。
カラススケジューラ (Karras Scheduler)
より滑らかで連続的なノイズ分散を定義するノイズスケジューラで、少ないステップ数でのサンプリングの安定性と品質を向上させるために使用されることが多い。
高速化確率的サンプリング (Accelerated Stochastic Sampling)
ノイズ除去プロセスに確率的要素を保持しながら、高度なスケジューラやソルバーを使用してステップ数を削減する方法で、多様性と速度のバランスを取る。