قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
زخم نيستيروف (Nesterov Momentum)
نسخة من خوارزمية الزخم تطبق تصحيحًا مبكرًا عن طريق حساب التدرج عند الموضع المستقبلي المقدر، مما يسرع التقارب ويقلل التذبذبات.
آدم (تقدير اللحظة التكيفي - Adaptive Moment Estimation)
خوارزمية تحسين تجمع بين أفكار الزخم و RMSprop، باستخدام تقديرات اللحظتين الأولى والثانية للتدرجات لتكييف معدلات التعلم لكل معلمة.
آداغراد (AdaGrad)
مُحسِّن تكيفي يضبط معدل التعلم لكل معلمة بناءً على المجموع التاريخي لمربعات تدرجاتها، مفضلاً المعلمات غير المتكررة.
آدادلتا (AdaDelta)
امتداد لـ AdaGrad يحد من نافذة تجميع التدرجات السابقة إلى حجم ثابت عبر متوسط متحرك متدحرج، متجنبًا الانخفاض الشديد في معدل التعلم.
تضاؤل معدل التعلم (Learning Rate Decay)
استراتيجية لتقليل معدل التعلم تدريجيًا أثناء التدريب، غالبًا وفقًا لجدول زمني محدد مسبقًا (خطوة، أسي، أو جيبي)، لتحسين التقارب نحو الحد الأدنى.
مُحسِّن لامب (LAMB - Layer-wise Adaptive Moments)
خوارزمية تحسين مصممة للتدريب على نطاق واسع، تقوم بتكييف معدل التعلم لكل طبقة باستخدام معيار الأوزان والتدرجات، وهي فعالة لمجموعات البيانات الكبيرة جدًا.
مُحسِّن لارز (LARS - Layer-wise Adaptive Rate Scaling)
طريقة تحسين تكيف معدل التعلم لكل طبقة بناءً على النسبة بين معيار الأوزان ومعيار التدرجات، وهي مناسبة بشكل خاص للتدريب باستخدام دفعات كبيرة.
مُحسِّن لوكاهيد (Lookahead Optimizer)
آلية تحسين تقوم بتحديث الأوزان 'البطيئة' بشكل دوري نحو متوسط الأوزان 'السريعة' التي يولدها مُحسِّن داخلي، مما يحسن التعميم واستقرار التقارب.
RAdam (Rectified Adam)
نسخة من Adam تصحح تباين تكييف معدل التعلم في المراحل المبكرة من التدريب، مما يوفر تقاربًا أكثر استقرارًا دون الحاجة إلى مرحلة إحماء.
SWATS (Switching from Adam to SGD)
استراتيجية تبدأ التدريب بمُحسِّن تكيفي مثل Adam لتقارب سريع، ثم تتحول إلى الانحدار التدرجي العشوائي (SGD) لتحقيق تعميم أفضل.
مُحسِّن Yogi
تعديل لـ Adam يهدف إلى توفير تقارب أكثر استقرارًا باستخدام تحديث أقل عدوانية للحظة الثانية، مما يقلل من التذبذبات ويحسن الأداء في المهام المعقدة.
Shampoo
مُحسِّن من الرتبة الثانية يقوم بتهيئة التدرجات باستخدام تقريبات لمصفوفة هيسيان على شكل كتل، مما يسرع التقارب للمشكلات سيئة التكييف.
إعادة تعيين معدل التعلم (Learning Rate Restart)
تقنية دورية حيث يتم إعادة تعيين معدل التعلم بشكل دوري إلى قيمته الأولية، مما يسمح للنموذج بالهروب من الحدود الدنيا المحلية واستكشاف مناطق جديدة في فضاء الحلول.