قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
الانتباه ثنائي الاتجاه
نوع من الانتباه حيث يمكن لكل موضع أن يركز على جميع المواضع الأخرى في التسلسل بدون قيود، مما يسمح بالتقاط التبعيات السياقية الكاملة في كلا الاتجاهين.
الاتصالات المتبقية
اتصالات اختصار تضيف إدخال طبقة إلى مخرجاتها، مما يسمح بالتدريب أعمق من خلال تسهيل تدفق التدرجات والحفاظ على المعلومات عبر الطبقات المتعددة للمحول.
رؤوس الانتباه
مساحات فرعية متوازية مستقلة في الانتباه متعدد الرؤوس حيث يتعلم كل رأس أنماط انتباه مختلفة، مما يسمح للنموذج بالتقاط أنواع متنوعة من العلاقات النحوية والدلالية في نفس الوقت.
الانتباه عبر الوسائط
امتداد للانتباه المتقاطع حيث تأتي الاستعلامات والمفاتيح والقيم من وسائط مختلفة (نص، صورة، صوت)، مما يسمح للنماذج متعددة الوسائط بمحاذاة ودمج المعلومات بين التمثيلات الحسية المختلفة.
خريطة حرارية للانتباه
تصور لأوزان الانتباه في شكل خريطة حرارية تظهر كيف يوزع النموذج انتباهه بين أجزاء مختلفة من الإدخال، أداة أساسية لقابلية تفسير نماذج المحول.