قاموس الذكاء الاصطناعي

📖

المصطلحات

محول ما بعد التطبيع الطبقي (Post-LN Transformer)

البنية الأصلية للمحول حيث يتم تطبيق التطبيع الطبقي بعد طبقات الانتباه والتغذية الأمامية، مما يتطلب ضبطًا أكثر دقة لمعدل التعلم.

📖

المصطلحات

جاما وبيتا (Gamma et Beta)

معاملات قابلة للتعلم في التطبيع الطبقي تسمح على التوالي بتوسيع (scale) وإزاحة (shift) القيم المعيارية للحفاظ على قوة تمثيل الشبكة.

📖

المصطلحات

توسيط صفري (Zero Centering)

عملية طرح متوسط التنشيطات في التطبيع الطبقي لتركيز البيانات حول الصفر، مما يسهل تحسين التدرجات.

📖

المصطلحات

تباين الوحدة (Unit Variance)

توحيد التنشيطات للحصول على تباين وحدوي في التطبيع الطبقي، مما يضمن الاستقرار العددي والتدرجات الثابتة عبر الطبقات.

📖

المصطلحات

استقرار التدرج (Gradient Stability)

خاصية التطبيع الطبقي التي تحافظ على استقرار التدرجات أثناء الانتشار العكسي، متجنبة مشاكل التدرج المتفجر أو المتلاشي في المحولات العميقة.

📖

المصطلحات

معامل إبسيلون (Epsilon Parameter)

ثابت صغير يضاف إلى المقام في التطبيع الطبقي لتجنب القسمة على صفر وضمان الاستقرار العددي عند حساب التباين المعياري.

📖

المصطلحات

توزيع التنشيط (Activation Distribution)

توزيع قيم التنشيط في طبقة يحافظ عليها التطبيع الطبقي ثابتة، مما يسهل التقارب وتحسين شبكات المحولات.

📖

المصطلحات

عدم الحساسية للمقياس (Scale Invariance)

خاصية التطبيع الطبقي التي تجعل النموذج غير حساس للتغيرات في مقياس المدخلات، مما يحسن متانة النموذج في مواجهة اختلافات البيانات.

📖

المصطلحات

سرعة التدريب

تسريع كبير لتدريب المحولات بفضل تسوية الطبقة (layer normalization)، مما يسمح بمعدلات تعلم أعلى وتقارب أسرع.

📖

المصطلحات

تسوية الحالة المخفية

تطبيق تسوية الطبقة (layer normalization) على الحالات المخفية للمحولات للحفاظ على تنشيطات مستقرة عبر طبقات التشفير وفك التشفير المختلفة.