قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
التراكم التاريخي
عملية تخزين وتجميع معلومات التدرجات السابقة لتكييف معدلات التعلم ديناميكيًا. في AdaDelta، يقتصر هذا التراكم على نافذة منزلقة لتجنب التدهور اللانهائي لمعدل التعلم.
عامل التضاؤل
معامل (عادةً ما بين 0.9 و 0.999) يتحكم في السرعة التي يتناقص بها تأثير التدرجات السابقة أسيًا. يحدد هذا العامل الحجم الفعلي للنافذة المنزلقة في الخوارزميات التكيفية مثل AdaDelta.
تطبيع التدرج
عملية قياس التدرجات باستخدام الإحصائيات التاريخية لتثبيت التدريب. تقوم AdaDelta بتطبيع التدرجات بقسمتها على الجذر التربيعي للمتوسط المتحرك لمربعاتها.
وحدات متناسقة
مبدأ أساسي في AdaDelta حيث تكون للتحديثات نفس وحدات المعلمات، مما يلغي الحاجة إلى معدل تعلم عالمي. يستخدم هذا النهج النسبة بين المتوسطات المتحركة للتحديثات السابقة والتدرجات الحالية.
تحجيم المعلمات
عملية تعديل ديناميكي لسعة التحديثات لكل معلمة بناءً على تاريخ تدرجاتها. تستخدم AdaDelta المتوسط المتحرك للتحديثات السابقة لتحديد هذا التحجيم التكيفي.
شروط التقارب
معايير رياضية تضمن أن خوارزمية التحسين ستصل إلى نقطة مثلى محلية أو عالمية. تقوم الخوارزميات التكيفية مثل AdaDelta بتعديل هذه الشروط عن طريق تغيير اتجاه وحجم خطوات التحسين ديناميكيًا.
حالة التحسين
معلومات إضافية تخزنها الخوارزميات التكيفية لحساب التحديثات المستقبلية. تحتفظ AdaDelta بحالتين: المتوسط المتحرك لمربعات التدرجات والمتوسط المتحرك لمربعات التحديثات.
المعلم الفائق رو
معامل فريد في AdaDelta (عادةً ما يتم تحديده عند 0.95) يتحكم في سرعة التضاؤل الأسي للنافذة المنزلقة. يحدد هذا المعامل التوازن بين المعلومات الحديثة والتاريخية في حسابات التحديث.