Optimisation de Communication

Sparsification

Processus éliminant les valeurs de gradient considérées comme non significatives (proches de zéro) avant transmission, réduisant drastiquement le volume de communication. Combine souvent avec des techniques d'accumulation locale pour préserver l'information importante.

← Wstecz