توازي النماذج
توازي البيانات المجزأة
مزيج من توازي البيانات واستراتيجية ZeRO، حيث يتم تقسيم أوزان النموذج (sharded) بين العمال مع الحفاظ على توازي البيانات.
← رجوعمزيج من توازي البيانات واستراتيجية ZeRO، حيث يتم تقسيم أوزان النموذج (sharded) بين العمال مع الحفاظ على توازي البيانات.
← رجوع