الحوسبة بدقة مختلطة

الأوزان الرئيسية

نسخة من أوزان النموذج محفوظة في FP32 (أو FP64) أثناء التدريب بدقة مختلطة، تُستخدم كمرجع دقيق لتحديثات الأوزان بينما تتم العمليات الحسابية الأمامية/الخلفية في FP16.

← رجوع