قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
طريقة نيوتن العشوائية
خوارزمية تحسين تقارب مصفوفة هيسيان بشكل عشوائي لتسريع التقارب، وتجمع بين الكفاءة الحسابية لـ SGD وخصائص التقارب من الدرجة الثانية.
L-BFGS (BFGS بذاكرة محدودة)
متغير شبه نيوتن يقارب معكوس مصفوفة هيسيان باستخدام آخر m تكرارات فقط، مما يقلل بشكل كبير من تعقيد الذاكرة مع الحفاظ على مزايا الدرجة الثانية.
K-FAC (تقريب انحناء مفكك كرونيكر)
طريقة تحسين من الدرجة الثانية تقارب مصفوفة فيشر بمنتج كرونيكر لمصفوفات أصغر، مما يسمح بحسابات فعالة لشبكات العصبية العميقة.
انحدار التدرج الطبيعي
خوارزمية تحسين تستخدم مقياس معلومات فيشر كشرط مسبق، مما يضمن تقاربًا ثابتًا لإعادة تحديد معلمات النموذج.
AdaHessian
مُحسِّن تكيفي يقدر قطر مصفوفة هيسيان باستخدام تقريب هاتشينسون، ويقوم بتكييف معدل التعلم لكل معلمة بناءً على الانحناء المحلي.
مُحسِّن شامبو
مُحسِّن من الدرجة الثانية يقوم بتهيئة التدرجات باستخدام تقريبات مصفوفة كرونيكر لأوزان الموترات، وهو تكيفي مع بنية معلمات النموذج.
LAMB (مُحسِّن اللحظات التكيفية الطبقية)
مُحسِّن تكيفي يضبط معدل التعلم لكل طبقة باستخدام معيار الأوزان والتدرجات، ويجمع بين مزايا Adam والتكيف الخاص ببنية الشبكة.
مُحسِّن صوفيا
طريقة تحسين من الدرجة الثانية تجمع بين تقديرات هيسيان القطرية والتحكم في الزخم العشوائي، وتكيف اتجاه التحديث ديناميكيًا وفقًا للانحناء المحلي.
طريقة نيوتن بالعينات الفرعية
نسخة من طريقة نيوتن تستخدم مجموعات فرعية من البيانات لتقدير التدرج والمصفوفة الهيسية، مما يقلل من التعقيد الحسابي مع الحفاظ على خصائص التقارب التربيعي المحلي.
شبه نيوتن العشوائي
فئة من الخوارزميات التي تحافظ على تقريب لمقلوب المصفوفة الهيسية يتم تحديثه بشكل عشوائي، مما يوازن بين التعقيد الحسابي ومعدل التقارب.
غاوس-نيوتن القطري
تقريب للمصفوفة الهيسية يستخدم فقط العناصر القطرية لمصفوفة غاوس-نيوتن، مما يقلل بشكل كبير من التكاليف الحسابية للمشكلات ذات الأبعاد الكبيرة.
TNSR (تنظيم من الدرجة الثانية الموحد للموترات)
طريقة تطبق تنظيمًا من الدرجة الثانية عن طريق توحيد موترات التدرج بناءً على تقديرات الانحناء، مما يثبت تدريب الشبكات العصبية العميقة.
خطوة نيوتن المتصلة
خوارزمية تحسين متصلة تحافظ على تقريب لمقلوب المصفوفة الهيسية لتكييف تحديثات المعلمات ديناميكيًا بناءً على الملاحظات المتسلسلة.
خوارزمية التدرج العشوائي التكرارية
طريقة تستخدم تقنيات التكرار لتقريب معلومات الرتبة الثانية بكفاءة مع الحفاظ على التعقيد الخطي لطريقة SGD الكلاسيكية.