Otimização de Comunicação

Quantificação do Gradiente

Método de compressão que reduz a precisão numérica dos gradientes (ex: de 32-bit para 8-bit) antes da transmissão para minimizar o volume de dados trocados. Frequentemente requer técnicas de compensação para manter a estabilidade do treinamento.

← Voltar