قاموس الذكاء الاصطناعي

📖

المصطلحات

الدمج والإسقاط الخطي

المرحلة النهائية من الانتباه متعدد الرؤوس حيث يتم دمج مخرجات جميع الرؤوس ثم إسقاطها خطياً لاستعادة بُعد النموذج، مما يدمج المعلومات من الفضاءات الجزئية المختلفة.

📖

المصطلحات

الانتباه السببي (الانتباه الذاتي المقنع)

نوع من الانتباه الذاتي المستخدم في وحدات فك الترميز حيث يتم تطبيق انتباه مقنع لمنع الرمز من الاهتمام بالرموز المستقبلية، مما يضمن الطبيعة الذاتية الانحدارية للنموذج.

📖

المصطلحات

بُعد الرأس (d_k)

بُعد متجهات المفتاح والقيمة في كل رأس انتباه، يتم حسابه بقسمة بُعد النموذج على عدد الرؤوس، مما يؤثر على القدرة التمثيلية لكل رأس.

📖

المصطلحات

الانتباه الخطي

عائلة من آليات الانتباه التي تعيد كتابة حساب الانتباه لتجنب تجسيد مصفوفة الانتباه الكاملة، مما يسمح بتعقيد خطي بالنسبة لطول التسلسل.