التحسين وقابلية التوسع
FSDP (موازاة البيانات المجزأة بالكامل)
امتداد لموازاة البيانات حيث يتم تقسيم (تجزئة) المعلمات والتدرجات وحالات المُحسِّن بالكامل عبر المعالجات لتقليل استهلاك الذاكرة لكل وحدة معالجة رسومية (GPU).
← رجوع