قاموس الذكاء الاصطناعي

📖

المصطلحات

SGD القائم على الزخم

نسخة من SGD تدمج ذاكرة التحديثات السابقة لتخفيف التذبذبات وتسريع التقارب في اتجاهات التدرج المتسقة.

📖

المصطلحات

SGD الدفعات المصغرة

حل وسط بين SGD وتدرج الدفعات، يستخدم مجموعات فرعية صغيرة من البيانات لتقدير التدرجات، مما يوفر توازنًا أفضل بين سرعة التقارب والاستقرار الرقمي.

📖

المصطلحات

تدرج نيستيروف المتسارع (NAG)

نسخة محسنة من الزخم تقوم بخطوة تنبؤ قبل حساب التدرج، مما يؤدي إلى تقارب نظريًا أفضل واستقرار رقمي أعلى.

📖

المصطلحات

آدم دبليو (AdamW)

تعديل لـ Adam يفصل اضمحلال الوزن عن التحديث التكيفي، مما يحسن التعميم والاستقرار في سياقات التعلم المستمر.

📖

المصطلحات

أداماكس (AdaMax)

امتداد لـ Adam يستخدم المعيار اللانهائي للتدرجات السابقة بدلاً من المعيار L2، مما يوفر استقرارًا رقميًا أفضل في بعض الحالات القصوى للبيانات المتسلسلة.

📖

المصطلحات

نادام (Nadam)

مزيج من زخم نيستيروف و Adam، يدمج تسريع نيستيروف في الإطار التكيفي لـ Adam لتقارب أسرع محتمل.