Distillation de Modèles

Zero-shot Distillation

Technique permettant de distiller un modèle teacher sans données d'entraînement explicitement étiquetées, en utilisant des connaissances implicites ou des données synthétiques générées par le teacher.

← Geri