एआई शब्दावली

📖

शब्द

Distributed SGD

Variante de la descente de gradient stochastique où les calculs de gradients et les mises à jour de paramètres sont répartis sur plusieurs machines ou processeurs pour accélérer l'entraînement de modèles à grande échelle.

📖

शब्द

Synchronous SGD

Approche où tous les workers doivent synchroniser leurs gradients à chaque itération, garantissant la cohérence du modèle mais pouvant être limitée par le nœud le plus lent (straggler).

📖

शब्द

Asynchronous SGD

Méthode où les workers mettent à jour les paramètres du modèle indépendamment sans attente de synchronisation, améliorant le débit mais pouvant introduire des gradients retardés.

📖

शब्द

Hogwild!

Algorithme de SGD parallèle sans verrouillage autorisant les accès concurrents aux paramètres, efficace pour les modèles creux où les conflits d'écriture sont rares.

📖

शब्द

Local SGD

Variante où les workers effectuent plusieurs pas de SGD locaux sur leurs données avant de communiquer pour la synchronisation, réduisant la surcharge de communication.

📖

शब्द

Straggler Problem

Phénomène où certains nœuds plus lents ralentissent l'ensemble du processus d'entraînement distribué synchronisé, particulièrement critique dans les systèmes à grande échelle.

📖

शब्द

Elastic Averaging SGD

Algorithme combinant descente de gradient locale avec une force élastique maintenant les paramètres locaux proches d'un centre de masse partagé entre workers.

📖

शब्द

Byzantine-Resilient SGD

Variantes robustes de SGD distribué capable de tolérer des workers défaillants ou malveillants qui envoient des gradients incorrects ou arbitraires.

📖

शब्द

Quantized SGD

Approche réduisant la précision numérique des gradients avant transmission, utilisant typiquement 1-8 bits par paramètre pour minimiser le trafic réseau.