Knowledge Distillation

Self-Knowledge Distillation

Technique où un modèle s'auto-distille en utilisant ses propres connaissances à différentes étapes d'entraînement ou différentes branches pour améliorer ses performances.

← Retour