قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
التحسين غير المحدب
عملية تحسين حيث تحتوي دالة الهدف على عدة نقاط صغرى محلية ونقاط سرج، مما يجعل البحث عن الأمثل الشامل معقدًا بشكل خاص في المساحات عالية الأبعاد.
نقاط السرج
نقاط حرجة حيث يتلاشى التدرج ولكنها ليست نقاط صغرى ولا نقاط عظمى، وتشكل عقبات رئيسية في تحسين الشبكات العميقة بسبب وفرتها في الأبعاد العالية.
النقاط الحرجة
نقاط في فضاء المعلمات حيث يتلاشى تدرج دالة الخسارة، وتشمل النقاط الصغرى المحلية، والنقاط العظمى المحلية، ونقاط السرج.
ديناميكيات الهروب
آليات يمكن من خلالها لخوارزميات التحسين العشوائي الهروب من نقاط السرج والنقاط الصغرى المحلية الضحلة بفضل ضوضاء التدرج.
مشهد الخسارة
تمثيل هندسي متعدد الأبعاد لدالة الخسارة كدالة لمعلمات الشبكة، يتميز بطوبولوجيا معقدة من الوديان والتلال والهضاب.
حوض الجذب
منطقة في فضاء المعلمات تبدأ منها خوارزمية التحسين بالتقارب حتمًا نحو نقطة حرجة معينة تحت ديناميكياتها.
الحد الأدنى الحاد مقابل المسطح
التمييز بين النقاط الصغرى المحلية ذات الانحناء العالي (الحادة) التي قد تكون أقل قابلية للتعميم وتلك ذات الانحناء المنخفض (المسطحة) التي يفضلها عادةً للتعميم.
ظاهرة الهضبة
مرحلة تدريب حيث تتوقف الخوارزمية في مناطق ذات تدرج منخفض، وهي سمة مميزة للتحسينات العميقة غير المحدبة وتتطلب تقنيات محددة للتغلب عليها.
التحسين القائم على الزخم
عائلة من الخوارزميات التي تدمج القصور الذاتي (الزخم) بناءً على التدرجات السابقة لتسريع التقارب واجتياز المناطق الصعبة في مساحة الخسارة بشكل أكثر فعالية.
تحليل النقاط الحرجة
دراسة منهجية لتوزيع وخصائص النقاط الحرجة في مساحات الخسارة غير المحدبة لفهم ديناميكيات التحسين.
انحدار التدرج مع إعادة التشغيل
تقنية تحسين تتناوب بشكل دوري بين انحدار التدرج وإعادة تعيين جزئي للمعلمات لاستكشاف أحواض جذب مختلفة.
التحسين بدون مصفوفة هيسيان
طرق تحسين من الرتبة الثانية تتجنب الحساب الصريح لمصفوفة هيسيان مع استغلال معلومات الانحناء لتحسين التقارب.
معلومات الانحناء
استخدام المشتقات الثانية لدالة الخسارة لتوجيه التحسين في المناطق غير المحدبة وتحسين استقرار التقارب.