SGD distribuido

SGD Sincrónico

Enfoque donde todos los workers deben sincronizar sus gradientes en cada iteración, garantizando la coherencia del modelo pero pudiendo ser limitado por el nodo más lento (straggler).

← Volver