AI用語集
人工知能の完全辞典
教師モデル
事前学習された大規模で複雑なニューラルネットワークモデルで、蒸留プロセスを通じてよりコンパクトなモデルを訓練するための知識源として機能します。
生徒モデル
教師モデルの振る舞いを模倣するように学習する小規模なニューラルネットワークモデルで、その一般化能力を活用しつつ、計算効率が高いです。
ソフトターゲット
argmax関数が適用される前の教師モデルの出力確率で、ハードラベルでは捉えられないクラス間の関係に関する情報を含んでいます。
温度スケーリング
ロジットを温度パラメータで割ることによって調整し、確率分布を滑らかにして、蒸留中にクラス間の関係を明らかにする技術。
ハードターゲット
（one-hotエンコーディングされた）従来のグラウンドトゥルーラベルで、蒸離中に予測の正確さを維持するためにソフトターゲットと共に使用されます。
ダークナレッジ
教師モデルの出力確率に含まれる微細な情報で、クラス間の類似性を明らかにし、ハードラベルには含まれていません。
蒸留損失
生徒モデルと教師モデルのソフトな予測間の divergence と、ハードラベルに対する正確さの両方を測定する組み合わせ損失関数。
特徴蒸留
生徒モデルが最終的な予測だけでなく、教師モデルの中間表現（特徴）を再現するように学習する蒸留のバリアント。
関係的知識蒸留
学生モデルが個々の予測だけでなく、教師モデルによって保持される学習サンプル間の構造的関係を学ぶアプローチ。
自己知識蒸留
モデルが異なる学習段階や異なる分岐で自身の知識を使用して自己蒸留を行い、パフォーマンスを向上させる技術。
複数教師蒸留
複数の教師モデルを使用して、それぞれの専門知識を組み合わせながら、単一の学生モデルに多様な知識を転送する戦略。
オンライン蒸留
教師モデルと学生モデルを同時に学習させ、学習プロセス中に動的で適応的な知識転送を可能にする方法。
ゼロショット知識蒸留
学習データを必要とせず、事前学習済みモデルの重みのみを使用して教師モデルの知識を蒸留するアプローチ。
注意ベース蒸留
学生モデルが教師モデルの注意マップを再現することを学び、入力データの重要な部分に関する知識を転送する特定の技術。
構造的知識蒸留
教師モデルの構造とアーキテクチャを学生モデルで保持し、層間の関係と元の情報フローを維持する方法。
段階的知識蒸留
中間モデルが最終的な学生モデルの教師として機能する多段階戦略で、知識の滑らかな移行を可能にする。
知識浄化
蒸留前に教師モデルのノイズのあるまたは不正確な知識をフィルタリングするプロセスで、生徒モデルへのより質の高い知識転移を保証します。
不均一知識蒸留
教師モデルと生徒モデルが異なるアーキテクチャ（CNNからTransformerなど）を持つアプローチで、知識転移に特別な適応技術が必要です。