Distillation de Modèles

Contrastive Distillation

Technique utilisant des paires de contrastes pour améliorer la qualité de la distillation, où le student apprend simultanément à imiter le teacher et à se différencier des échantillons négatifs.

← Tillbaka