Computación de Precisión Mixta

Pesos Maestros

Copia de los pesos del modelo mantenida en FP32 (o FP64) durante el entrenamiento en precisión mixta, sirviendo como referencia de precisión para las actualizaciones de pesos mientras los cálculos forward/backward se realizan en FP16.

← Volver