قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
آلية الانتباه
يتيح للنموذج ترجيح أهمية الأجزاء المختلفة من المدخل أثناء المعالجة.
الانتباه الذاتي
آلية حيث يركز كل عنصر في التسلسل على جميع العناصر الأخرى في نفس التسلسل.
الانتباه متعدد الرؤوس
امتداد للانتباه الذاتي يستخدم عدة رؤوس انتباه بالتوازي لالتقاط أنواع مختلفة من العلاقات.
الترميز الموضعي
تقنية لدمج معلومات الموضع في التضمينات دون استخدام الشبكات العصبية المتكررة
بنية المشفر-فك التشفير
الهيكل الأساسي للمحولات مع مشفر للفهم وفك تشفير للإنشاء
انتباه حاصل الضرب النقطي المقاس
الشكل الرياضي الأساسي لحساب الانتباه في المحولات مع التحجيم.
الشبكات التغذية الأمامية
الشبكات المتصلة بالكامل المطبقة بعد كل طبقة انتباه في المحولات.
التطبيع الطبقي
تقنية تطبيع تُطبق في نماذج المحولات (Transformers) لاستقرار التدريب.
أقنعة الانتباه
آلية للتحكم في الرموز التي يمكن أن تركز على رموز أخرى
محولات الرؤية (ViT)
تطبيق بنية المحولات في معالجة الصور عن طريق تقسيم الصور إلى رقع.
بنية BERT
محول مشفر مسبق التدريب مع أهداف نمذجة اللغة المقنعة.
بنية GPT
محول فك تشفير فقط محسن لتوليد النصوص بشكل ذاتي التراجع.
الانتباه المتقاطع
آلية الانتباه بين سلسلتين مختلفتين في المشفرات-والمفككات.
الانتباه المتفرق
متغير من الانتباه يقلل من التعقيد من خلال حساب الأزواج الانتقائية فقط.
الانتباه الهرمي
بنية متعددة المستويات تطبق الانتباه على مستويات مختلفة من الدقة.
تصور الانتباه
تقنيات لتفسير وتصوير أوزان الانتباه في نماذج الترانسفورمر.
تحسين المحولات
طرق محددة للتدريب الفعال لنماذج المحولات الكبيرة.
المحولات متعددة الوسائط
هيئة المحول الموسعة لمعالجة أنواع متعددة من البيانات بشكل متزامن
محولات فعّالة
متغيرات محسّنة من محولات لخفض التعقيد الحسابي.
مجموعات متنوعة من آليات الانتباه
طرق مختلفة وتحسينات لآلية الانتباه خارج نطاق dot-product.