قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
تحليل رأس الانتباه
عملية فحص وتفسير أوزان الانتباه المنتجة من كل رأس لفهم الأنماط والعلاقات المحددة التي تعلم كل رأس التقاطها.
تخصص الرؤوس
ظاهرة تتخصص فيها رؤوس الانتباه المختلفة في نفس الطبقة لتعلم أنواع مميزة من العلاقات اللغوية، مثل النحو والدلالة أو التبعيات طويلة المدى.
مصفوفة أوزان الانتباه
مصفوفة مربعة تولدها رأس الانتباه، حيث يمثل كل عنصر (i, j) درجة أهمية أو صلة الرمز j للرمز i في سياق التسلسل.
خريطة الانتباه
تصور لمصفوفة أوزان الانتباه، غالبًا في شكل خريطة حرارية، توضح بيانيًا علاقات التركيز لرأس الانتباه على تسلسل الإدخال.
الدور النحوي
نوع العلاقة، مثل الربط بين الفاعل والفعل أو التبعية بين الاسم والصفة، التي يمكن لرأس انتباه متخصص أن يتعلم اكتشافها ونمذجتها.
الدور الموضعي
وظيفة رأس الانتباه الذي يركز بشكل رئيسي على علاقات الموضع النسبي بين الرموز، مما يساعد النموذج على فهم ترتيب الكلمات بغض النظر عن محتواها الدلالي.
رأس الموضع
رأس انتباه تكشف أوزان انتباهه عن أنماط مرتبطة بشدة بالمسافة النسبية بين الرموز، حيث يعمل كآلية لتشفير البنية التسلسلية.
رأس القسم الفرعي للكلمة
رأس انتباه متخصص في إدارة العلاقات بين أجزاء الكلمات (الأقسام الفرعية) التي تولدها مقسمات الرموز مثل BPE، مما يساعد في إعادة بناء الاتساق المعجمي.
رأس الاسترجاع (Retrieval Head)
رأس انتباه محدد في النماذج كبيرة الحجم يتصرف كآلية لاسترجاع المعلومات، حيث يتصل بقوة برموز محددة تعمل كمفاتيح للمعرفة المخزنة.
تكرار الرؤوس (Head Redundancy)
ملاحظة أن بعض رؤوس الانتباه في النموذج مفرط المعلمات تتعلم وظائف متشابهة جداً أو متطابقة، مما يشير إلى عدم كفاءة محتملة في استخدام الموارد.
تقليم رأس الانتباه (Attention Head Pruning)
تقنية ضغط النموذج تتضمن تحديد وإزالة رؤوس الانتباه التي تعتبر زائدة أو غير مهمة لتقليل حجم النموذج وتكلفة الحساب مع تأثير ضئيل على الأداء.
درجة أهمية الرأس (Head Importance Score)
مقياس كمي، غالباً ما يُشتق من حساسية الخسارة أو أداء النموذج لإزالة الرأس، يُستخدم لتصنيف الرؤوس حسب مساهمتها في العملية الكلية.
تحليل استقراء الرأس (Head Induction Analysis)
منهجية تتضمن تدريب نموذج مشرف بسيط (مثل مصنف خطي) على مخرجات رأس الانتباه لاكتشاف الوظيفة الأساسية التي تعلمها هذا الرأس لتمثيلها.
نمط الانتباه القطري (Diagonal Attention Pattern)
نمط أوزان الانتباه حيث يركز الرأس بشكل رئيسي على الرمز نفسه (الانتباه الذاتي)، غالباً ما يُلاحظ في الطبقات السفلية لتحسين التمثيلات المحلية.
نمط الانتباه العمودي (Vertical Attention Pattern)
نمط حيث يركز رأس الانتباه على رمز مرجعي محدد (غالباً رمز بداية التسلسل أو علامة تصنيف) لجميع المواضع، مجمعاً المعلومات لمهمة تصنيف.
نمط الانتباه الكتلي (Block Attention Pattern)
نمط حيث يركز رأس الانتباه على أجزاء متجاورة من التسلسل، مشيراً إلى تخصص في معالجة الجمل أو العبارات المحلية.
رأس الترجمة
في النماذج متعددة اللغات، رأس الانتباه الذي يتعلم محاذاة الكلمات والعبارات بين اللغات المختلفة، مما يسهل نقل المعرفة اللغوية.
آلية الانتباه متعدد الرؤوس
مكون أساسي في نماذج المحولات (Transformers) الذي ينفذ عدة رؤوس انتباه بالتوازي، ويربط مخرجاتها ويقوم بإسقاطها لتمكين النموذج من التركيز على مواقع مختلفة ومساحات تمثيلية مختلفة في وقت واحد.
قابلية تفسير الرؤوس
مجال بحثي يهدف إلى تطوير طرق لفهم وقياس وتصور الوظيفة المحددة لكل رأس انتباه من أجل كشف الغموض عن العمل الداخلي لنماذج المحولات (Transformer).