Optimisation de Communication

Top-k Sparsification

Variante de sparsification ne conservant que les k valeurs de gradient les plus importantes en magnitude, garantissant une compression ratio fixe. Nécessite des mécanismes de synchronisation supplémentaires pour maintenir la cohérence entre nœuds.

← Zurück