Трансформеры для обработки изображений (ViT)

Distillation Token

Дополнительный токен в DeiT, который учится имитировать предсказания модели учителя (часто CNN), облегчая передачу знаний и улучшая производительность с меньшим количеством данных.

← Назад