Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Quantification du gradient
Méthode de compression réduisant la précision numérique des gradients (ex: 32-bit vers 8-bit) avant transmission pour minimiser le volume de données échangées. Nécessite souvent des techniques de compensation pour maintenir la stabilité de l'entraînement.
Sparsification
Processus éliminant les valeurs de gradient considérées comme non significatives (proches de zéro) avant transmission, réduisant drastiquement le volume de communication. Combine souvent avec des techniques d'accumulation locale pour préserver l'information importante.
Top-k Sparsification
Variante de sparsification ne conservant que les k valeurs de gradient les plus importantes en magnitude, garantissant une compression ratio fixe. Nécessite des mécanismes de synchronisation supplémentaires pour maintenir la cohérence entre nœuds.
Overlapping Communication and Computation
Stratégie d'optimisation masquant la latence réseau en exécutant simultanément les calculs locaux et les transferts de données entre nœuds. Essentiel pour maintenir les GPUs actifs pendant les phases de communication réseau.
Communication Backend
Couche d'abstraction gérant les communications réseau dans les frameworks distribués, permettant de switcher entre différentes implémentations (MPI, NCCL, Gloo). Impacte directement les performances du système distribué.
Bandwidth Optimization
Ensemble de techniques visant à maximiser l'utilisation de la bande passante réseau disponible (compression, agrégation, ordering). Crucial pour les systèmes à haute scalabilité où la communication devient le facteur limitant.
Latency Hiding
Stratégies visant à masquer les temps d'attente réseau par du calcul utile ou des transferts anticipés de données. Fondamental pour maintenir l'efficacité des systèmes distribués face aux latences incompressibles du réseau.