AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
教師-生徒アーキテクチャ
ソフトターゲットや正則化を通じて暗黙的な知識を転送することにより、教師モデルが生徒モデルを訓練するフレームワーク。
用語
特徴マップ蒸留
最終的な予測レベルではなく、モデルの中間表現レベルで知識を転送する手法。
用語
アテンション転送
複雑なモデルによって特定された重要な領域を保持するために、教師モデルから生徒モデルへアテンションマップを転送すること。
用語
関係知識蒸留
個々の知識ではなく、学習サンプル間の構造的関係を保持するアプローチ。
用語
自己蒸留
自身の知識をより深い、あるいは広いバージョンのモデルへ転送することで、モデルが自己改善するプロセス。
用語
段階的蒸留
生徒モデルがさらにコンパクトなモデルの教師モデルとなる段階的な蒸留の反復手法。
用語
オンライン知識蒸留
事前に学習された教師モデルを必要とせず、複数のモデルがリアルタイムで相互に学習するアプローチ。
用語
クロスドメイン蒸留
異なるドメインで動作するが、類似した基礎構造を共有するモデル間で知識を転送する技術。
用語
蒸留によるライフロングラーニング
継続的な学習で獲得した知識を保持し、破滅的忘却を防ぐために蒸留を適用する。
用語
アンサンブル蒸留
集団知識の多様性を保ちつつ、モデルのアンサンブルを単一のコンパクトなモデルに圧縮する。
用語
蒸留を用いたニューラルアーキテクチャサーチ
性能を維持した効率的なアーキテクチャの探索をガイドするために、NASプロセスに蒸留を統合する。
用語
コントラスト知識蒸留
教師モデルから生徒モデルへ識別的な表現を転送するために、正と負のコントラストを利用するアプローチ。
🔍