قاموس الذكاء الاصطناعي

📖

المصطلحات

مصفوفات الإسقاط

مصفوفات أوزان قابلة للتعلم Wq, Wk, Wv تحول التضمينات المدخلة إلى مساحات الاستعلام (Query)، المفتاح (Key)، والقيمة (Value)، و Wo تجمع مخرجات رؤوس الانتباه المختلفة.

📖

المصطلحات

محول ما قبل التطبيع الطبقي (Pre-LN Transformer)

متغير معماري حيث يتم تطبيق تطبيع الطبقة قبل الانتباه والتغذية الأمامية بدلاً من بعدها، مما يوفر استقرارًا أفضل للتدريب للنماذج العميقة.