قاموس الذكاء الاصطناعي

📖

المصطلحات

إعادة التشغيل الدافئة

استراتيجية تدريب تعيد تعيين معدل التعلم بشكل دوري إلى قيمة عالية مع الحفاظ على أوزان النموذج لتجنب النهايات الصغرى المحلية. تعمل عمليات إعادة التشغيل الدافئة مع اضمحلال جيبي (SGDR) على تحسين استكشاف مساحة المعلمات.

📖

المصطلحات

RAdam

نسخة معدلة من Adam تصحح تباين الأوزان التكيفية خلال مراحل الإحماء الأولية للتدريب. يجمع RAdam بين المزايا النظرية لـ SGD والأداء العملي لـ Adam، مما يوفر تقاربًا أكثر استقرارًا في بداية التدريب.