قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
مصفوفة الانتباه
مصفوفة مربعة تمثل أوزان الانتباه بين جميع أزواج العناصر في تسلسل، وتصور أنماط الترابط التي تعلمها النموذج.
انتباه المشفر-فك المشفر
آلية يقوم فيها فك المشفر بالانتباه إلى مخرجات المشفر، مما يسمح بتوليد تسلسلات مشروطة بتسلسل المصدر في نماذج seq2seq.
الانتباه الذاتي المقنع
انتباه ذاتي مع إخفاء المواضع المستقبلية لمنع العناصر من رؤية المعلومات اللاحقة، وهو أمر ضروري في مهام توليد النص.
تسوية Softmax
دالة تنشيط تحول درجات الانتباه إلى توزيع احتمالات، مما يضمن أن مجموع أوزان الانتباه يساوي 1 لكل موضع.
رأس الانتباه
مكون فرعي للانتباه متعدد الرؤوس يقوم بحساب انتباه مستقل بمعلماته الخاصة، ويcaptures نوعًا محددًا من العلاقة التسلسلية.
تسرب الانتباه
تنظيم مطبق على أوزان الانتباه أثناء التدريب، مما يقوم بإلغاء تنشيط بعض الاتصالات بشكل عشوائي لمنع الإفراط في تعلم أنماط الانتباه.
انتباه متعدد المقاييس
متغير من الانتباه يعالج في نفس الوقت التبعيات على مقاييس زمنية أو مكانية مختلفة، ويجمع حقولاً استقبالية متنوعة لفهم هرمي.