قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
المؤثر التقاربي
مؤثر رياضي يعمم الإسقاط على مجموعة محدبة، ويُعرف بأنه argmin_y{f(y) + (1/2λ)||y-x||²}. يسمح بمعالجة فعالة لمشاكل التحسين ذات المنظمات غير القابلة للتفاضل مثل معيار L1.
الدالة التقاربية
دالة محدبة شبه مستمرة من الأسفل يكون المؤثر التقاربي معرفًا جيدًا لها. تشمل الدوال المحدبة المغلقة مثل معيار L1، ودالة المؤشر للمجموعات المحدبة، وعقوبات المجموعات.
خوارزمية ISTA
خوارزمية العتبة الناعمة التكرارية (Iterative Soft-Thresholding Algorithm)، وهي طريقة تقاربية محددة لتنظيم L1. تقوم بخطوة تدرج متبوعة بعتبة ناعمة لفرض التباعد في الحلول.
خوارزمية FISTA
خوارزمية العتبة الناعمة التكرارية السريعة (Fast Iterative Soft-Thresholding Algorithm)، وهي نسخة مسرعة من ISTA تستخدم تقنيات تسريع Nesterov. تحقق معدل تقارب أمثل O(1/k²) للمشاكل المحدبة مع تنظيم L1.
تسريع Nesterov
تقنية تسريع لطرق التدرج من الرتبة الأولى تستخدم مصطلحات القصور الذاتي للذاكرة. تحسن بشكل كبير تقارب من O(1/k) إلى O(1/k²) للمشاكل المحدبة.
شرط Lipschitz
افتراض أن تدرج دالة الهدف مستمر L-Lipschitz، مما يضمن تقاربًا مستقرًا. يحدد الحد الأقصى لحجم الخطوة المسموح به في الطرق التقاربية.
تنظيم Moreau-Yosida
تقنية لتنعيم الدوال المحدبة غير القابلة للتفاضل عن طريق الالتفاف التربيعي. تنشئ دوال C1 مع الحفاظ على القيم الدنيا الأصلية عبر غلاف Moreau.
المشاكل المهيكلة
مشاكل التحسين ذات البنية المحددة التي تستغلها الطرق التقاربية. تشمل المنظمات المجمعة، والمعايير المختلطة، والقيود الهيكلية المعقدة.
ADMM التقاربي
طريقة الاتجاهات المتناوبة للمضاعفات مع عامل تقاربي، مناسبة للقيود المعقدة. تقوم بتحليل المشكلة إلى مشكلات فرعية أبسط تُحل بالتناوب مع تحديث المضاعف.
التقارب الخطي
معدل تقارب هندسي حيث يتناقص الخطأ أسيًا مع عدد التكرارات. يتم تحقيقها بواسطة الطرق التقاربية تحت شروط التحدب القوي أو خطأ متوسط تربيعي محدود.
حجم الخطوة المتغير
استراتيجية تكيفية لاختيار حجم خطوة التعلم في الطرق التقاربية. تقنيات مثل البحث الخطي التراجعي تحسن التقارب عن طريق تعديل λ ديناميكيًا وفقًا للانحناء المحلي.
التدرج التقاربي العشوائي
نسخة عشوائية من التدرج التقاربي باستخدام دفعات صغيرة للمشكلات واسعة النطاق. تجمع بين الكفاءة الحسابية لـ SGD مع معالجة المنظمات غير القابلة للاشتقاق.
النقطة الثابتة التقاربية
صياغة الطرق التقاربية كتكرارات نقطة ثابتة على عامل انكماشي. تضمن تقاربًا فريدًا تحت شروط ليبشيتز وتحدب مناسب.
التحسين المركب
تحسين الدوال الهدف المركبة التي تجمع بين الحدود الملساء وغير الملساء. مجال التطبيق الرئيسي لطرق التدرج التقاربي في التعلم الإحصائي ومعالجة الإشارات.