Distillation de Modèles

Dynamic Distillation

Approche adaptative où la force de la distillation et le choix des cibles sont ajustés dynamiquement pendant l'entraînement selon la progression du student et la difficulté des échantillons.

← Geri