Optimización de la Comunicación

Cuantificación del gradiente

Método de compresión que reduce la precisión numérica de los gradientes (ej: de 32 bits a 8 bits) antes de la transmisión para minimizar el volumen de datos intercambiados. A menudo requiere técnicas de compensación para mantener la estabilidad del entrenamiento.

← Volver