قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
تضاؤل خطوي
طريقة جدولة تقلل معدل التعلم بعامل ضربي على فترات محددة من الحقب. يسمح هذا النهج البسيط والفعال بتخفيضات حادة في معدل التعلم لتحسين النموذج تدريجياً.
تضاؤل أسي
استراتيجية يتناقص فيها معدل التعلم أسيًا مع مرور الوقت أو عدد التكرارات وفقًا لصيغة رياضية محددة مسبقًا. تضمن هذه الطريقة تخفيضًا مستمرًا وتدريجيًا لمعدل التعلم طوال فترة التدريب.
إحماء
مرحلة تدريب أولية يزداد فيها معدل التعلم تدريجياً من قيمة منخفضة إلى قيمته المستهدفة. تعمل هذه التقنية على استقرار خطوات التعلم الأولى وتمنع تباعد النموذج في البنى العميقة.
معدل التعلم الدوري
استراتيجية تذبذبية يتغير فيها معدل التعلم بشكل دوري بين حدود دنيا وعليا محددة. تسمح هذه الطريقة باستكشاف مناطق مختلفة من فضاء المعلمات ويمكن أن تسرع التقارب.
سياسة الدورة الواحدة
سياسة جدولة تزيد معدل التعلم إلى أقصى حد ثم تخفضه إلى قيمة نهائية، وغالبًا ما تُدمج مع تباين في الزخم يتناسب عكسياً. أظهر هذا النهج أداءً فائقًا للتدريب السريع للشبكات العصبية.
تقليل معدل التعلم عند الثبات
آلية تكيفية تقلل معدل التعلم عندما تتوقف مقياس الأداء عن التحسن لعدد محدد من الحقب. تعدل هذه الاستراتيجية معدل التعلم ديناميكيًا بناءً على الأداء الفعلي للنموذج.
مكتشف معدل التعلم
تقنية تجريبية لتحديد نطاق مثالي لمعدلات التعلم من خلال ملاحظة خسارة النموذج عند زيادة أسية في معدل التعلم. تحدد هذه الطريقة القيمة القصوى الممكنة قبل تباعد النموذج.
SGDR
الانحدار التدرجي العشوائي مع إعادة التشغيل (Stochastic Gradient Descent with Restarts)، وهو متغير من SGD يدمج عمليات إعادة تشغيل دورية لمعدل التعلم وفقًا لسياسة التلدين الجيبي (cosine annealing). تسمح هذه التقنية بالهروب من النقاط السرجية وتحسين التعميم.
إعادة تشغيل معدل التعلم الدافئة
سياسة جدولة تجمع بين إعادة التشغيل الدورية لمعدل التعلم ومراحل الإحماء التدريجية في كل دورة. هذا النهج الهجين يحسن الاستكشاف والاستغلال في مساحة المعلمات.
التضاؤل متعدد الحدود
استراتيجية لتقليل معدل التعلم وفقًا لدالة متعددة الحدود للوقت أو لعدد خطوات التدريب. توفر هذه الطريقة تحكمًا دقيقًا في سرعة التضاؤل بفضل معلمة القوة.
التضاؤل الزمني العكسي
طريقة جدولة يتناقص فيها معدل التعلم بشكل عكسي مع الوقت أو عدد التكرارات، باتباع دالة من النوع ألفا/(1 + معدل_التضاؤل * الخطوة). يضمن هذا النهج تخفيضات أقل حدة من التضاؤل الأسي.
اختبار نطاق معدل التعلم
إجراء تشخيصي يدرب النموذج على حقبة واحدة مع تغيير معدل التعلم عبر نطاق لوغاريتمي واسع. تساعد النتيجة في تحديد الحدود المثلى لاستراتيجيات معدل التعلم الدوري.
زخم معدل التعلم
تنسيق بين جدولة معدل التعلم وتعديل معلمة الزخم لتحسين التقارب. يمكن لهذا النهج المتزامن أن يحسن بشكل كبير استقرار وسرعة التدريب.