الشبكات العصبية المتوازية

موازاة البيانات الموزعة (DDP)

إطار عمل لموازاة البيانات المتزامنة حيث تدير كل عملية وحدة معالجة رسوميات (GPU) وتحتفظ بنسخة كاملة من النموذج. يستخدم Ring All-Reduce لمزامنة فعالة للتدرجات.

← رجوع