知識蒸留

予備タスク

マスクされた部分の予測や破損した入力の再構成など、モデルに有用な表現を学習させるように設計された、自己教師ありの二次タスクです。

← 戻る