Optimisation de Communication

Quantification du gradient

Méthode de compression réduisant la précision numérique des gradients (ex: 32-bit vers 8-bit) avant transmission pour minimiser le volume de données échangées. Nécessite souvent des techniques de compensation pour maintenir la stabilité de l'entraînement.

← Terug