قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
آلية التطلع المسبق
تقنية تحسين تحتفظ بمجموعتين من الأوزان: أوزان سريعة يتم تحديثها بشكل متكرر وأوزان بطيئة تتبع متوسط الأوزان السريعة لتحسين التعميم.
زخم التدرج
معامل تسريع في طرق التحسين يراكم التدرجات السابقة بعامل اضمحلال أسي، مما يسمح بتجاوز النهايات الصغرى المحلية وتسريع التقارب.
استراتيجية إعادة التشغيل
نهج يتم فيه إعادة تعيين الزخم بشكل دوري إلى الصفر لتجنب التذبذبات وتحسين التقارب في مشاكل التحسين غير المحدبة مع تسريع Nesterov.
تقدير الزخم التكيفي
امتداد لطرق الزخم الذي يكيف ديناميكيًا معدلات التعلم لكل معلمة من خلال الجمع بين مزايا NAG مع التسوية التكيفية للتدرجات.
مقياس ضوضاء التدرج
معامل يحدد النسبة بين تباين التدرج العشوائي ومعيار التدرج، مما يؤثر على اختيار حجم الدفعة الأمثل في طرق NAG.
استراتيجية الإحماء
تقنية تهيئة تدريجية لمعدل التعلم والزخم لتثبيت الخطوات الأولى للتدريب باستخدام NAG، وهي مهمة بشكل خاص في الشبكات العميقة.
تنعيم سطح الخسارة
تأثير مفيد لـ NAG يغير ضمنيًا سطح دالة الخسارة لإنشاء أحواض جذب أوسع حول النهايات الصغرى، مما يسهل التحسين.
النزول المنسق المتسارع
متغير من النزول المنسق يدمج مبادئ تسريع Nesterov لتحسين مشاكل الأبعاد العالية ذات الهياكل المتفرقة بكفاءة.
تقسيم أمامي-خلفي
خوارزمية نقطة ثابتة للتحسين المركب، حيث يتم تطبيق تسريع نيستروف على الجزء الأملس من المشكلة مع التعامل مع القيود عبر العوامل التقريبية.
تدرج النقل الأمثل
تطبيق تسريع نيستروف (NAG) في مسائل التحسين القائمة على النقل الأمثل، حيث يتيح التسريع إدارة فعالة لقيود الكتلة والحفظ.