AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
蒸留温度
ソフトマックス関数で適用されるハイパーサーミックパラメータで、教師モデルの確率のソフト化を制御し、生徒モデルが最も確率の高い予測を超えてクラス間の関係を学習できるようにする
用語
レイヤー単位の蒸留
教師モデルの各レイヤーの中間表現を生徒モデルの対応するレイヤーに転送する蒸留技術で、すべての抽象度レベルでの特徴の段階的学習を確実にする
用語
コントラスト蒸留
コントラストペアを使用して蒸留の品質を向上させる技術で、生徒モデルが教師モデルを模倣しつつ、ネガティブサンプルと区別することを同時に学習する
用語
クロスアーキテクチャ蒸留
トランスフォーマーをCNNやRNNアーキテクチャに蒸留するなど、異なるアーキテクチャのモデル間の知識転送方法で、ターゲット展開における柔軟性を可能にする
用語
知識プルーニング
最も重要でない重みがモデルから削除され、蒸留がプルーニングによる性能低下を補う、パラメータプルーニングと蒸留を組み合わせたプロセス
用語
動的蒸留
生徒モデルの進行状況とサンプルの難易度に応じて、訓練中に蒸留の強度とターゲットの選択を動的に調整する適応的アプローチ
用語
ゼロショット蒸留
教師モデルによって生成された暗黙的な知識または合成データを使用して、明示的にラベル付けされた訓練データなしで教師モデルを蒸留できる技術
用語
関係認識蒸留
生徒モデルが教師モデルの個々の予測だけでなく、データの異なる部分間の構造的関係も学習し、複雑な依存関係を捉える高度な方法
用語
圧縮意識蒸留
最終モデルの圧縮後のパフォーマンスを最適化するために、圧縮（量子化、スパース化）のハードウェア制約を蒸留プロセスに直接統合する戦略。
🔍