قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
تمثيل QKV
إسقاط التضمينات المدخلة إلى ثلاثة مساحات متجهية منفصلة: الاستعلام (Query)، والمفتاح (Key)، والقيمة (Value)، المستخدمة على التوالي لحساب درجات الانتباه، ووزن الأوزان، وإنشاء المخرجات.
قناع الانتباه
مصفوفة ثنائية أو مستمرة تُطبق على درجات الانتباه للتحكم في الرموز (tokens) التي يمكنها الانتباه إلى رموز أخرى، وهو أمر حيوي في نماذج فك التشفير لمنع الغش بالنظر إلى الرموز المستقبلية.
Softmax الانتباه
تطبيق دالة Softmax على درجات الانتباه لتطبيع الأوزان إلى توزيع احتمالي، مما يضمن أن مجموع الأوزان لكل موضع استعلام يساوي 1.
التحيز السببي
قيد يُفرض في النماذج التوليدية الذاتية حيث لا يمكن لأي موضع الانتباه إلا إلى المواضع الحالية والماضية، مع إخفاء المواضع المستقبلية أثناء التدريب.
إسقاط المخرجات
تحويل خطي نهائي يُطبق على مخرجات الانتباه لربط البعد المدمج لرؤوس الانتباه بالبعد المتوقع للطبقات التالية.