قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
آلية الانتباه
مكون أساسي يسمح للمحولات بتقدير أهمية الأجزاء المختلفة من التسلسل
المشفرات والمفككات
البنية المعمارية الأساسية للمحولات مع مكونين رئيسيين لمعالجة وتوليد التسلسلات
الترميز الموضعي
تقنية تسمح بدمج معلومات الموضع في التضمينات دون استخدام التكرار
الانتباه متعدد الرؤوس
توسيع لآلية الانتباه يستخدم عدة رؤوس انتباه بالتوازي لالتقاط أنواع مختلفة من العلاقات
بيرت
نموذج ثنائي الاتجاه ثوري مدرب مسبقًا يعتمد على مُشفّر المحولات
جي بي تي
سلسلة من النماذج التوليدية القائمة على محول فك التشفير لتوليد النصوص
محولات الرؤية
تطبيق بنية المحولات على مهام رؤية الكمبيوتر عن طريق معالجة الصور كسلاسل
الانتباه الذاتي
آلية تسمح لكل عنصر في تسلسل بالتفاعل مع جميع العناصر الأخرى في نفس التسلسل
الانتباه المتقاطع
آلية الانتباه بين تسلسلين مختلفين، ضرورية في مهام الترجمة
ترانسفورمر-XL
امتداد للمحولات قادر على نمذجة التبعيات طويلة المدى دون انقطاع السياق
T5
نموذج تحويل النص إلى نص يوحد جميع مهام معالجة اللغة الطبيعية في نفس تنسيق الإدخال والإخراج النصي
الانتباه المتفرق
متغيرات الانتباه الفعالة التي تقلل من التعقيد الحسابي عن طريق الحد من الاتصالات
تطبيع الطبقة
تقنية تطبيع أساسية لتثبيت تدريب المحولات العميقة
شبكات التغذية الأمامية
شبكات متصلة بالكامل مطبقة في كل موقع ضمن طبقات المحولات
أقنعة الانتباه
آلية تسمح بالتحكم في الرموز التي يمكن أن تتفاعل مع بعضها البعض