قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
تنظيم L2 المفصول
فصل تضاؤل الأوزان عن تحديث التدرج لتطبيق التنظيم بشكل مستقل عن خطوة التحسين.
المعاملات الفائقة بيتا1 وبيتا2
معاملات تتحكم على التوالي في التضاؤل الأسي للعزوم من الرتبة الأولى والثانية في خوارزمية AdamW.
العزم من الرتبة الأولى
المتوسط المتحرك الأسي للتدرجات الذي يلتقط الاتجاه المتوسط للانحدار لتسريع التقارب في وديان الخطأ.
العزم من الرتبة الثانية
المتوسط المتحرك الأسي لمربعات التدرجات الذي يقدر التباين لتكييف معدل التعلم وفقًا للانحناء المحلي.
إبسيلون التثبيت
ثابت صغير يضاف إلى المقام لتجنب القسمة على صفر ولضمان الاستقرار العددي عند تطبيع التدرجات.
التقارب المقارب
خاصية نظرية تضمن أن الخوارزمية تصل إلى نقطة حرجة عندما يميل عدد التكرارات إلى اللانهاية تحت شروط معينة.
تحليل التدرج
فصل متجهي للتدرج إلى مكونات تضاؤل الأوزان وتحديث فعلي في تطبيق AdamW.
انحياز البدء البارد
مشكلة التقدير المتحيز للعزوم خلال التكرارات الأولى بسبب التهيئة بالصفر، يتم تصحيحه بواسطة عوامل الانحياز في AdamW.
عامل اضمحلال الوزن
معامل لامدا يتحكم في شدة تنظيم L2 المنفصل المطبق بشكل مستقل على كل تحديث للوزن.
التطبيع التكيفي
قسمة التدرج على الجذر التربيعي لعزمه من الدرجة الثانية لتطبيع حجم التحديثات بناءً على تاريخ التدرجات.