Трансформеры для обработки изображений (ViT)

DeiT (Data-efficient Image Transformer)

Вариант ViT, который можно обучать с использованием скромного количества данных благодаря стратегии дистилляции знаний, где добавляется токен дистилляции для обучения от учителя CNN.

← Назад