Distillation de Connaissances

Prétexte task

Tâche secondaire auto-supervisée conçue pour forcer le modèle à apprendre des représentations utiles, comme la prédiction de parties masquées ou la reconstruction d'entrées corrompues.

← Retour