Computação de Precisão Mista
Pesos Mestre (Master Weights)
Cópia dos pesos do modelo mantida em FP32 (ou FP64) durante o treinamento em precisão mista, servindo como referência de precisão para as atualizações de pesos enquanto os cálculos forward/backward são realizados em FP16.
← Voltar