قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
انحدار متدرج
خوارزمية تحسين تكرارية تتبع الاتجاه المعاكس للتدرج لتقليل دالة.
الانحدار التدرجي العشوائي
نسخة من الانحدار التدرجي تستخدم عينة عشوائية واحدة في كل تكرار.
انحدار تدرج الدفعات المصغرة
حل وسط بين الانحدار التدرجي (GD) والانحدار التدرجي العشوائي (SGD) باستخدام دفعات صغيرة من الأمثلة لتحديث المعلمات.
الزخم
تقنية تسرع التقارب عن طريق إضافة مكون قصوري لتحديثات التدرج.
تدرج نيستروف المتسارع
نسخة من الزخم تتوقع الموضع المستقبلي لتحديثات أكثر دقة.
أداغراد
تكيفي لمعدل التعلم يعتمد على المجموع التاريخي لمربعات التدرجات.
RMSprop
طريقة تكييفية تستخدم متوسطًا متحركًا لمربعات التدرجات لتطبيع التحديثات.
مُحسِّن آدم
مزيج من الزخم و RMSprop مع تقديرات تكيفية للعزمين الأول والثاني.
آدم دبليو
نسخة من آدم مع تنظيم L2 مفصول لتحقيق أداء أفضل.
آدا دلتا
امتداد لـ Adagrad يحد من التراكم التاريخي لمعدل تعلم مستقر.
طرق نيوتن
خوارزميات تستخدم مصفوفة هيسيان لتحقيق تقارب تربيعي محلي.
BFGS و L-BFGS
طرق شبه نيوتن التي تقارب مصفوفة هيسيان بذاكرة محدودة (L-BFGS).
التدرج المترافق
طريقة تكرارية فعالة للأنظمة الخطية الكبيرة والتحسين غير الخطي.
هبوط التدرج المسقط
تقنية لتحسين الأداء تحت القيود عن طريق الإسقاط على المجموعة الممكنة.
طرق التدرج التقاربي
خوارزميات تجمع بين نزول التدرج والمؤثر التقاربي للدوال غير الملساء.