Вычисления смешанной точности

Главные веса

Копия весов модели, поддерживаемая в FP32 (или FP64) во время обучения со смешанной точностью, служащая эталоном точности для обновления весов, в то время как вычисления forward/backward выполняются в FP16.

← Назад