قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
SGD الموزع
نسخة من الانحدار العشوائي المتدرج حيث يتم توزيع حسابات التدرجات وتحديثات المعلمات على عدة أجهزة أو معالجات لتسريع تدريب النماذج واسعة النطاق.
SGD المتزامن
نهج حيث يجب على جميع العمال مزامنة تدرجاتهم في كل تكرار، مما يضمن اتساق النموذج ولكن قد يكون محدودًا بالعقدة الأبطأ (المتخلفة).
SGD غير المتزامن
طريقة يقوم فيها العمال بتحديث معلمات النموذج بشكل مستقل دون انتظار المزامنة، مما يحسن الإنتاجية ولكنه قد يقدم تدرجات متأخرة.
Hogwild!
خوارزمية SGD متوازية بدون قفل تسمح بالوصول المتزامن إلى المعلمات، فعالة للنماذج المتفرقة حيث تكون تعارضات الكتابة نادرة.
SGD المحلي
نسخة يقوم فيها العمال بإجراء عدة خطوات SGD محلية على بياناتهم قبل التواصل للمزامنة، مما يقلل من الحمل الزائد للاتصال.
مشكلة المتخلفين
ظاهرة تبطئ فيها بعض العقد الأبطأ عملية التدريب الموزع المتزامن بأكملها، وهي حرجة بشكل خاص في الأنظمة واسعة النطاق.
SGD بمتوسط مرن
خوارزمية تجمع بين الانحدار المتدرج المحلي وقوة مرنة تحافظ على المعلمات المحلية قريبة من مركز كتلة مشترك بين العمال.
SGD المقاوم للبيزنطية
نسخ قوية من SGD الموزع قادرة على تحمل العمال الفاشلين أو الخبيثين الذين يرسلون تدرجات غير صحيحة أو عشوائية.
SGD الكمي
نهج يقلل من الدقة العددية للتدرجات قبل الإرسال، ويستخدم عادةً 1-8 بت لكل معلمة لتقليل حركة مرور الشبكة.