Vision Transformers (ViT)

Token de Destilação

Token adicional no DeiT que aprende a imitar as previsões de um modelo professor (frequentemente uma CNN), facilitando a transferência de conhecimento e melhorando o desempenho com menos dados.

← Voltar