قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
SVRG (Stochastic Variance Reduced Gradient)
خوارزمية تحسين تجمع بين حسابات التدرج الكاملة الدورية والتحديثات العشوائية لتقليل التباين. يحتفظ SVRG بمرجع للتدرج الكامل لتصحيح تقديرات التدرج العشوائية.
SAGA
طريقة لتقليل التباين تستخدم جدولًا من التدرجات التاريخية لكل نقطة بيانات وتجري تصحيحات في كل تكرار. تجمع SAGA بين مزايا SAG و SVRG مع تقارب خطي مضمون للمشكلات المحدبة.
SAG (Stochastic Average Gradient)
خوارزمية تحسين تحتفظ في الذاكرة بالتدرجات السابقة لكل نقطة بيانات وتحدثها بشكل تدريجي. يقلل SAG التباين باستخدام متوسط التدرجات التاريخية كتقدير مرجعي.
Mini-batch
مجموعة فرعية متوسطة الحجم من مجموعة البيانات الكاملة تُستخدم لحساب تقديرات التدرج في كل تكرار. تقلل المجموعات المصغرة التباين مقارنة بـ SGD النقي بينما تكون أكثر كفاءة من التدرجات الكاملة.
Control variates
تقنية إحصائية تُستخدم لتقليل تباين المقدرات عن طريق إدخال متغير تحكم مرتبط. في التحسين العشوائي، تصحح متغيرات التحكم تقديرات التدرج باستخدام مرجع منخفض التباين.
Gradient snapshot
حساب كامل للتدرج يتم تخزينه بشكل دوري في خوارزميات تقليل التباين مثل SVRG. يعمل اللقطة كمرجع لتصحيح تقديرات التدرج العشوائية بين التحديثات الكاملة.
Linear convergence
معدل تقارب حيث يتناقص الخطأ أسيًا مع عدد التكرارات للمشكلات المحدبة بقوة. تحقق طرق تقليل التباين مثل SVRG و SAGA تقاربًا خطيًا تحت شروط معينة.
Gradient variance
مقياس لتقلب تقديرات التدرج العشوائية بسبب أخذ العينات العشوائية للبيانات. تقليل هذا التباين هو الهدف الرئيسي لتقنيات SVRG و SAGA لتحسين التقارب.
تعقيد الذاكرة
مساحة الذاكرة المطلوبة بواسطة الخوارزمية لتخزين المعلومات الضرورية للحسابات. تتطلب خوارزميات SAG و SAGA ذاكرة بحجم O(n) لتخزين التدرجات التاريخية، بينما تتطلب SVRG ذاكرة إضافية بحجم O(1) فقط.
التحدب القوي
خاصية لدالة حيث يكون انحناؤها محدودًا من الأسفل بثابت موجب. التحدب القوي هو شرط أساسي يضمن التقارب الخطي لطرق تقليل التباين.
المؤثر القريب
عملية رياضية تعمم الإسقاط على مجموعة محدبة لتشمل مصطلحات التنظيم (التقييس). يمكن دمج طرق تقليل التباين مع المؤثرات القريبة لمعالجة المشاكل غير القابلة للتفاضل.
مقدر التدرج العشوائي
مقدر غير متحيز للتدرج الحقيقي يُحسب على مجموعة فرعية عشوائية من البيانات. تقوم تقنيات تقليل التباين بتعديل هذا المقدر لتقليل تباينه مع الحفاظ على تحيزه الصفري.
حد التباين
حد أعلى نظري لتباين تقديرات التدرج تضمنه خوارزميات تقليل التباين. غالبًا ما يرتبط هذا الحد بتكييف المشكلة والمسافة إلى النقطة المثلى.
SARAH (خوارزمية التدرج العشوائي التكراري)
خوارزمية لتقليل التباين تستخدم منهجًا تكراريًا لتحديث مقدر التدرج في كل تكرار. تجمع SARAH بين أفكار SVRG وطرق التدرج المتسارع مع تقارب مضمون.