قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
لينفورمرز
هندسة محولات ذات تعقيد خطي تستخدم إسقاط المفاتيح والقيم في بُعد مخفض k << n، مما يسمح بمعالجة تسلسلات طويلة جدًا بكفاءة.
بيرفورمرز
نماذج تستخدم انتباه FAVOR+ (انتباه سريع عبر ميزات عشوائية متعامدة إيجابية) لتقريب انتباه سوفتماكس بتعقيد خطي مع الحفاظ على الخصائص الرياضية.
انتباه سينكهورن
تقريب للانتباه باستخدام خوارزمية سينكهورن-كنوب لحساب مصفوفة انتباه مزدوجة عشوائية بتعقيد مخفض، قابلة للتطبيق على التسلسلات الطويلة جدًا.
انتباه منخفض الرتبة
طريقة تفكيك مصفوفة الانتباه الكاملة إلى ناتج مصفوفات منخفضة الرتبة، مما يقلل عدد المعلمات والتعقيد الحسابي من O(n²) إلى O(nr).
انتباه قائم على الذاكرة
هندسة تستخدم ذاكرة خارجية مضغوطة ذات حجم ثابت لتخزين المعلومات ذات الصلة من الرموز السابقة، مما يسمح بالانتباه على تسلسلات طويلة بشكل تعسفي.
انتباه متفرق مفكك
تفكيك الانتباه الكامل إلى ناتج عدة مصفوفات متفرقة (عادةً محلية وعالمية)، مما يسمح بتقريب متحكم به بتعقيد شبه خطي.