قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
عملية كيفر-وولفويتز
توسيع لخوارزمية روبنز-مونرو للتحسين، باستخدام فروق محدودة مشوشة لتقدير التدرج وإيجاد القيم القصوى للدالة.
طريقة نيوتن العشوائية
نسخة عشوائية من طريقة نيوتن حيث يتم تقدير مصفوفة هيسيان من ملاحظات مشوشة، مما يسرع التقارب نحو الأمثل.
التدرج العشوائي (SGD)
خوارزمية تحسين تقوم بتحديث المعلمات باستخدام تقديرات مشوشة للتدرج محسوبة على مجموعات فرعية من البيانات.
خطوة تكيفية
استراتيجية تعديل ديناميكي لحجم الخطوة في خوارزميات التقريب العشوائي لتحسين سرعة التقارب والاستقرار.
شرط روبنز-مونرو
شروط رياضية على تسلسل الخطوات (مجموع لا نهائي ولكن مجموع المربعات محدود) تضمن تقارب خوارزمية التقريب العشوائي.
التحيز والتباين في التقريب العشوائي
تحليل المفاضلة بين تحيز التقدير الناتج عن الخطوة غير الصفرية والتباين الناتج عن الضوضاء في الملاحظات لتحسين الأداء.
طريقة SPSA
التقريب العشوائي بالاضطراب المتزامن (Simultaneous Perturbation Stochastic Approximation)، تقنية فعالة حيث يتم تقدير التدرج عن طريق إحداث اضطراب متزامن لجميع المعلمات بقياسين فقط للدالة.
ضوضاء القياس
خطأ عشوائي يؤثر على ملاحظات دالة الهدف، ويتم نمذجته عادة كضوضاء بيضاء إضافية ذات خصائص إحصائية معروفة.
معدل التعلم المتناقص
تسلسل خطوات متناقص عادةً على شكل a/(n+b) حيث n هو التكرار، مما يضمن التقارب مع الحفاظ على معدل تعلم فعال.
تدرج الدفعة المصغرة
متغير وسيط بين تدرج الدفعة وتدرج العشوائي يستخدم دفعات صغيرة من الملاحظات لتقليل تباين تقدير التدرج.
الزخم في التقريب العشوائي
تقنية تسرع التقارب عن طريق إضافة قصور ذاتي يعتمد على التدرجات السابقة، مما يقلل من التذبذبات في اتجاهات الانحناء القوي.
خوارزمية ADAM
تقدير اللحظة التكيفي (Adaptive Moment Estimation)، وهي طريقة تحسين تجمع بين الزخم ومعدلات التعلم التكيفية لكل معلمة، وهي فعالة بشكل خاص في التعلم العميق.
شروط Lipschitz
فرضية انتظام على دالة الهدف تضمن حدًا على تباين التدرج، وهي ضرورية لإثبات تقارب الخوارزميات العشوائية.