قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
تحجيم الانتباه
تقنية لتطبيع درجات الانتباه عن طريق القسمة على الجذر التربيعي للأبعاد للحفاظ على تباين ثابت واستقرار تدريب نماذج المحولات.
عامل تحجيم الأبعاد
المعامل √dk المستخدم لتطبيع درجات الانتباه، حيث يمثل dk أبعاد متجهات الاستعلام والمفتاح في بنية المحول.
استقرار التدرج
عملية تهدف إلى الحفاظ على التدرجات ضمن نطاق رقمي مستقر أثناء الانتشار العكسي، وهو أمر ضروري لتجنب مشاكل التدريب في الشبكات العميقة.
تطبيع درجات الانتباه
تطبيع درجات التشابه قبل تطبيق دالة Softmax للتحكم في توزيع الاحتمالات ومنع التركيزات الشديدة للاهتمام.
أبعاد الاستعلام والمفتاح
البعد المشترك لمتجهات الاستعلام والمفتاح في الانتباه متعدد الرؤوس، والذي يحدد جذره التربيعي عامل مقياس التطبيع.
التحكم في تباين الانتباه
الحفاظ على تباين ثابت لدرجات الانتباه عبر مختلف الطبقات لضمان الاستقرار العددي الأمثل للنموذج.
الاستقرار العددي في الانتباه
مجموعة من التقنيات التي تضمن بقاء حسابات الانتباه ضمن نطاقات عددية قابلة للإدارة، مما يمنع حدوث overflow و underflow في الفاصلة العائمة.
زيادة حدة توزيع الدرجات
ظاهرة تصبح فيها توزيعات الانتباه مركزة للغاية دون تطبيع مناسب، مما يؤدي إلى سلوك غير مثالي للنموذج.
تحجيم الانتباه متعدد الرؤوس
تطبيق عامل المقياس √dk بشكل مستقل على كل رأس انتباه في البنية متعددة الرؤوس للحفاظ على الاتساق عبر التمثيلات المتوازية.
تطبيع أبعاد التضمين
تقنية تطبيع تعتمد على أبعاد التضمينات لضمان حجم مقارن للتمثيلات المتجهة في فضاء الانتباه.
تحجيم درجة حرارة الانتباه
التعديل الديناميكي لعامل المقياس لضبط تركيز الانتباه، مما يسمح بالتحكم الدقيق في توزيع أوزان الانتباه.
تحسين تدفق التدرج
تحسين مسار التدرجات عبر طبقات الانتباه للحفاظ على تعلم فعال في الشبكات العميقة.
تنظيم حجم الدرجات
التحكم في حجم درجات الانتباه عبر التطبيع لمنع عدم الاستقرار العددي وتحسين تقارب النموذج.
الحفاظ على إنتروبيا الانتباه
الحفاظ على مستوى إنتروبيا مناسب في توزيعات الانتباه بفضل التطبيع، وتجنب التوزيعات الصلبة للغاية أو الموحدة للغاية.