Mixed Precision Computing

Master Weights

Copie des poids du modèle maintenue en FP32 (ou FP64) pendant l'entraînement en mixed precision, servant de référence de précision pour les mises à jour de poids tandis que les calculs forward/backward s'effectuent en FP16.

← Retour