قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
الإسقاط الخطي
تحويل خطي يتم تطبيقه على التضمينات المدخلة لإنشاء مسافات الاستعلام والمفتاح والقيمة في كل رأس من رؤوس الانتباه متعددة الرؤوس.
قناع الانتباه
تقنية تطبق قيم سالبة لانهائية على مواقع معينة في مصفوفة الانتباه لمنع التفاعلات غير المرغوب فيها بين عناصر التسلسل.
سلسلة متعددة الرؤوس
عملية تجمع مخرجات جميع رؤوس الانتباه عن طريق سلسلة تمثيلاتها قبل الإسقاط الخطي النهائي لإنتاج المخرجات.
تضمين سياقي
تمثيل متجهي محسن تم إنشاؤه بواسطة آلية الانتباه التي تدمج معلومات سياقية من التسلسل بأكمله لكل عنصر.
بعد رأس الانتباه
الابعاد المنخفضة لكل مساحة فرعية للانتباه في الانتباه متعدد الرؤوس، وعادة ما يتم حسابها كـ (أبعاد النموذج / عدد الرؤوس).
حساب الانتباه الموازي
عملية يتم فيها حساب رؤوس الانتباه المتعددة في وقت واحد بالتوازي، مما يسمح بالتقاط فعال لجوانب مختلفة من العلاقات التسلسلية.
اتصال الانتباه المتبقي
اتصال متبقي يضيف المدخلات الأصلية إلى مخرجات طبقة الانتباه، مما يسهل تدريب الشبكات العميقة عن طريق الحفاظ على تدفق المعلومات.
توزيع الانتباه
توزيع الاحتمالات على عناصر التسلسل الذي تم إنشاؤه بواسطة softmax، يوضح أين 'ينظر' النموذج أثناء معالجة عنصر معين.