قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
الانحدار العشوائي المتدرج (SGD)
خوارزمية تحسين أساسية تقوم بتحديث المعلمات باستخدام عينة عشوائية في كل تكرار.
تدرج هابط بالدفعات المصغرة
متغير من SGD يستخدم دفعات صغيرة من العينات لموازنة التباين والكفاءة الحسابية.
تحسين قائم على الزخم
تقنيات تدمج القصور الذاتي لتسريع التقارب وتقليل التذبذبات في الوديان الضيقة.
طرق معدل التعلم التكيفي
خوارزميات مثل آدم و RMSprop التي تعدل ديناميكيًا معدل التعلم لكل معلمة.
تقنيات تقليل التباين
طرق مثل SVRG و SAGA التي تقلل من تباين تقديرات التدرج لتحسين التقارب.
SGD الموزع
مناهج لموازاة SGD على أجهزة متعددة لتسريع تدريب النماذج واسعة النطاق.
التحسين غير المحدب
تقنيات متخصصة لتحسين الدوال غير المحدبة الشائعة في الشبكات العصبية العميقة.
جدولة معدل التعلم
استراتيجيات تعديل معدل التعلم أثناء التدريب لتحسين التقارب.
طرق عشوائية من الدرجة الثانية
خوارزميات تستخدم معلومات تقريبية من الدرجة الثانية لتسريع التقارب.
تحسين التعلم الموحد
طرق SGD مُكيَّفة للتدريب الموزع الذي يحافظ على الخصوصية على البيانات اللامركزية.
التحسين العشوائي القوي
تقنيات تجعل الأمثلية مقاومة للبيانات المشوشة والهجمات العدائية.
تحسين التعلم عبر الإنترنت
متغيرات SGD مكيفة للسيناريوهات حيث تصل البيانات بشكل تسلسلي وتتطلب تحديثات مستمرة.