قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
مصفوفة هيسيان
مصفوفة مربعة للمشتقات الجزئية الثانية لدالة قياسية، تحتوي على معلومات حول الانحناء المحلي المستخدم لتحسين التقارب.
اتجاه نيوتن
متجه بحث يُحسب كمعكوس مصفوفة هيسيان مضروبًا في التدرج، ويشير إلى الاتجاه الأمثل للانحدار وفقًا للتقريب التربيعي المحلي.
خطوة نيوتن
تحديث تكراري x_{k+1} = x_k - H^{-1}(x_k)∇f(x_k) حيث H هي مصفوفة هيسيان، ويحقق تقريبًا تربيعيًا وحلاً دقيقًا للمشكلة الفرعية المحلية.
طريقة نيوتن-رافسون
نسخة تاريخية من طريقة نيوتن طُورت في الأصل لحل المعادلات غير الخطية، ثم عُممت لاحقًا على التحسين متعدد الأبعاد.
خطية تايلور من الرتبة الثانية
تقريب محلي لدالة بواسطة متسلسلة تايلور من الرتبة الثانية، وهو الأساس النظري الذي يبرر استخدام مصفوفة هيسيان في طرق نيوتن.
تسوية مصفوفة هيسيان
تقنية تضيف حدًا λI إلى مصفوفة هيسيان لضمان إيجابيتها المحددة، وتجنب اتجاهات الانحدار غير الصالحة عندما تكون مصفوفة هيسيان سيئة التكييف.
طريقة شبه نيوتن
فئة من الخوارزميات تقرب مصفوفة هيسيان أو معكوسها من معلومات التدرج المتتالية، متجنبة التكلفة الحسابية المباشرة للمشتقات الثانية.
خوارزمية BFGS
طريقة شبه نيوتن شائعة (برويدن-فليتشر-جولد فارب-شانو) تبني تقريبًا لمعكوس مصفوفة هيسيان يضمن الإيجابية المحددة بطبيعتها.
خوارزمية DFP
أول طريقة شبه نيوتن (دافيدون-فليتشر-باول) تستخدم صيغة تحديث متماثلة لتقريب معكوس مصفوفة هيسيان مع الحفاظ على الإيجابية المحددة.
طريقة غاوس-نيوتن
خوارزمية متخصصة لمشاكل المربعات الصغرى غير الخطية، تقرب مصفوفة هيسيان بواسطة J^TJ حيث J هي مصفوفة جاكوبي للبواقي.
طريقة ليفنبرغ-ماركوارت
خوارزمية هجينة تتوسط بين طريقة غاوس-نيوتن والانحدار التدرجي، تستخدم معامل تخميد للتحكم في التنظيم.
نقطة حرجة
نقطة ينعدم عندها التدرج (∇f(x*) = 0)، تحددها طرق نيوتن كمرشح ليكون حداً أدنى محلياً، أو حداً أقصى، أو نقطة سرج.
شرط وولف
معيار اختيار الخطوة في طرق نيوتن مع البحث الخطي، يضمن تقليلاً كافياً للدالة مع الحفاظ على انحناء مناسب.
البحث الخطي
مشكلة فرعية تحدد الطول الأمثل للخطوة في اتجاه معين، ضرورية لضمان التقارب الشامل لطرق نيوتن.
خوارزمية نيوتن المقطوعة
نسخة تحل تقريبًا النظام الخطي H d = -∇f باستخدام طرق تكرارية مثل التدرج المترافق، مناسبة للمشاكل واسعة النطاق.
مصفوفة هيسيان المتفرقة
مصفوفة هيسيان تحتوي في الغالب على أصفار، تسمح بتحسينات حسابية كبيرة في طرق نيوتن للمشاكل المهيكلة.