قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
استعلام-مفتاح-قيمة (QKV)
ثلاثي من المتجهات الأساسية في آلية الانتباه حيث الاستعلام يبحث عن معلومات، والمفتاح يحدد المعلومات المتاحة، والقيمة تحتوي على المعلومات التي سيتم استخراجها.
أوزان الانتباه
معاملات مُعيَّرة تشير إلى الأهمية النسبية لكل عنصر من عناصر الإدخال، وعادةً ما يتم الحصول عليها بعد تطبيق softmax على درجات الانتباه.
الترميز الموضعي
معلومات تُضاف إلى التضمينات للإشارة إلى موضع التوكنات في تسلسل، معوضةً عن غياب التكرار في محولات الترانسفورمر.
الانتباه السببي
نوع من الانتباه المقنع حيث كل موضع لا يمكنه التركيز إلا على المواضع السابقة، ويستخدم بشكل أساسي في مهام توليد النصوص.
درجة الانتباه
قيمة خام تُحسب بين استعلام ومفتاح قبل التطبيع، وتُكمِّن الصلة أو التوافق بين هذين العنصرين.
تطبيع Softmax
دالة تنشيط تُطبق على درجات الانتباه لتحويلها إلى توزيع احتمالات، مع ضمان أن مجموع الأوزان يساوي 1.
رأس الانتباه
آلية فرعية فردية في الانتباه متعدد الرؤوس، حيث يتعلم كل رأس التركيز على جوانب أو علاقات مختلفة في البيانات.
مصفوفة الانتباه
تمثيل ثنائي الأبعاد لأوزان الانتباه يوضح كيف ينتبه كل عنصر من عناصر الإدخال إلى جميع العناصر الأخرى في التسلسل.
الانتباه بالنواة
نهج يستخدم وظائف النواة لحساب أوزان الانتباه، مما يسمح بعلاقات غير خطية أكثر تعقيدًا بين العناصر.
الانتباه المتفرق
تحسين يقلل من عدد اتصالات الانتباه المحسوبة من خلال النظر فقط في الأزواج الأكثر صلة، مما يحسن الكفاءة الحسابية.