Computação de Precisão Mista

Pesos Mestre (Master Weights)

Cópia dos pesos do modelo mantida em FP32 (ou FP64) durante o treinamento em precisão mista, servindo como referência de precisão para as atualizações de pesos enquanto os cálculos forward/backward são realizados em FP16.

← Voltar