ビジョントランスフォーマー

DeiT (Data-efficient Image Transformers)

より少ないトレーニングデータで競争力のあるパフォーマンスを達成するために、知識蒸留戦略を用いてトレーニングされたVision Transformerの変種。DeiTは、教師CNNの予測から学習する追加の蒸留トークンを導入し、それによって大規模データに基づくアプローチとの性能ギャップを縮めます。

← 戻る