Computación de Precisión Mixta

Acumulación de Gradientes en Precisión Mixta

Técnica donde los gradientes calculados en FP16 se acumulan en un búfer FP32 antes de la actualización de pesos, previniendo la pérdida de precisión durante la agregación en múltiples mini-lotes.

← Volver