Computação de Precisão Mista

Acumulação de Gradientes em Mixed Precision

Técnica onde os gradientes calculados em FP16 são acumulados num buffer FP32 antes da atualização dos pesos, prevenindo a perda de precisão durante a agregação em múltiplos mini-batches.

← Voltar