قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
الزخم الكلاسيكي
تقنية تحسين تجمع التدرجات السابقة مع عامل اضمحلال لخلق قصور ذاتي في تحديثات الأوزان. يتيح هذا النهج تسريع التقارب في الاتجاهات الثابتة مع تخميد التذبذبات.
عامل الزخم (بيتا)
معامل فائق يتحكم في تأثير التدرجات السابقة على التحديث الحالي، وعادة ما يتم تحديده بين 0.9 و 0.99. تزيد القيمة الأعلى من القصور الذاتي وتثبت مسار التحسين في الوديان الضيقة.
سرعة التدرج
متجه يجمع التدرجات الموزونة من التكرارات السابقة، ويمثل اتجاه وسرعة النزول في فضاء المعلمات. يتم تحديث السرعة في كل تكرار بواسطة تركيبة خطية من التدرج الحالي والسرعة السابقة.
القصور الذاتي في التحسين
ظاهرة فيزيائية مماثلة حيث تحتفظ تحديثات المعلمات بجزء من زخمها السابق، مما يسمح بتجاوز الهضاب والحد الأدنى المحلي الضحل. القصور الذاتي فعال بشكل خاص في التنقل في مساحات الخسارة المعقدة وغير المحدبة.
تذبذبات مخمدة
تقليل تدريجي للتقلبات حول الاتجاه الأمثل للنزول بفضل تراكم الزخم في الاتجاهات المتسقة. تعمل هذه الآلية على استقرار التحسين بشكل خاص في الوديان الضيقة حيث تكون التدرجات مترابطة بشدة.
الزخم التكيفي
امتداد للزخم حيث يتم تعديل عامل القصور الذاتي ديناميكيًا بناءً على الخصائص المحلية لمشهد التحسين. يتيح هذا التكيف توازنًا أمثل بين الاستكشاف والاستغلال وفقًا لهندسة سطح الخسارة.
تاريخ التدرجات
ذاكرة التدرجات السابقة المستخدمة لحساب اتجاه التحديث الحالي، مما يسمح بالتقاط الاتجاهات طويلة الأجل للنزول. يعطي التاريخ المرجح أسيًا الأفضلية للتدرجات الحديثة مع الاحتفاظ بمعلومات التكرارات السابقة.
الكتلة الافتراضية
مفهوم مماثل يمثل مقاومة التغيير في مسار التحسين، ويتم التحكم فيه بواسطة عامل الزخم. تنتج الكتلة الافتراضية العالية حركات أكثر سلاسة وأقل حساسية لضوضاء التدرج اللحظية.
قوة الاحتكاك
آلية تنظيم ضمنية في الزخم توازن التسارع لتجنب التباعد، وعادة ما يتم تطبيقها عبر العامل (1-بيتا). تضمن هذه القوة الاستقرار العددي وتضمن التقارب نحو الحد الأدنى الهام.
الزخم العشوائي
تطبيق الزخم في التحسين العشوائي حيث يتم حساب متوسط التدرجات المشوشة زمنياً لتقليل تباين التقديرات. هذه التقنية فعالة بشكل خاص في التدريب على مجموعات بيانات كبيرة باستخدام دفعات صغيرة.
الزخم بالدفعات الصغيرة
استراتيجية يتم فيها تحديث السرعة بعد كل دفعة صغيرة بدلاً من كل عينة فردية، مما يوفر حلاً وسطاً بين الاستقرار والتكلفة الحسابية. يتيح هذا النهج تعميماً أفضل مع الحفاظ على فوائد الزخم.
تضاؤل الزخم
تقنية لضبط عامل الزخم أثناء التدريب، وعادة ما يتم تقليله تدريجياً لتحسين التقارب النهائي. تجمع هذه الاستراتيجية بين الاستكشاف السريع في بداية التدريب والدقة في نهاية التحسين.
الزخم الدوري
تغير دوري لعامل الزخم متزامن مع دورات التعلم للهروب من الحد الأدنى المحلي واستكشاف مساحة الحلول. غالباً ما يتم دمج هذا النهج مع معدلات التعلم الدورية لتحسين شامل.
إحماء الزخم
مرحلة أولية من التدريب حيث يتم زيادة عامل الزخم تدريجياً من الصفر لتجنب عدم الاستقرار في التكرارات الأولى. تتيح هذه التقنية استقراراً تدريجياً للتحسين في الشبكات العميقة.