AI用語集

人工知能の完全辞典

236

カテゴリ

3,245

サブカテゴリ

39,334

用語

知識のソースとして機能する大規模な事前学習済みニューラルネットワークであり、その確率的出力は生徒モデルの学習をガイドするために使用されます。

教師モデルの動作を再現するように最適化されたコンパクトなモデルアーキテクチャであり、計算の複雑さを軽減しながらパフォーマンスを維持することを目指します。

ラベルなしデータから教師あり学習のシグナルを生成するために人工的に設計された予備タスクであり、自己教師あり学習の中間的な目標として機能します。

教師モデルと生徒モデルの確率分布間の乖離を測定する目的関数であり、通常、カルバック・ライブラーダイバージェンス（KLダイバージェンス）を用いて実装されます。

確率分布をソフト（滑らかに）にするためにソフトマックス関数に適用されるスケールパラメータであり、それによって教師モデルが学習したクラス間の関係を明らかにします。

特徴空間または予測空間において、教師と生徒によって予測された確率分布間のギャップを最小限に抑えることを目的とした手法です。

マスクされた部分の予測や破損した入力の再構成など、モデルに有用な表現を学習させるように設計された、自己教師ありの二次タスクです。

🔍