モデルの蒸留

レイヤー単位の蒸留

教師モデルの各レイヤーの中間表現を生徒モデルの対応するレイヤーに転送する蒸留技術で、すべての抽象度レベルでの特徴の段階的学習を確実にする

← 戻る