قاموس الذكاء الاصطناعي

📖

المصطلحات

الانتباه الذاتي متعدد الرؤوس

آلية انتباه تنفذ بالتوازي عدة وظائف انتباه لالتقاط جوانب مختلفة من العلاقات الدلالية بين الرموز. تسمح للنموذج بالتركيز في وقت واحد على مواقع مختلفة من تسلسل الإدخال.

📖

المصطلحات

إسقاط خرج الانتباه متعدد الرؤوس

طبقة خطية نهائية تجمع مخرجات جميع رؤوس الانتباه في مصفوفة موحدة. تحول دمج رؤوس الانتباه إلى أبعاد متوافقة مع الطبقات اللاحقة.