Distillation de Modèles

Distillation Temperature

Paramètre hyperthermique appliqué dans la fonction softmax pour contrôler l'adoucissement des probabilités du modèle teacher, permettant au student d'apprendre des relations entre classes au-delà des prédictions les plus probables.

← Geri