قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
Longformer
بنية Transformer تستخدم مزيجاً من الانتباه المحلي بالنافذة المنزلقة والانتباه الشامل لمعالجة التسلسلات الطويلة جداً بكفاءة مع تعقيد خطي.
BigBird
نموذج يطبق الانتباه المتفرق عبر ثلاثة أنماط: انتباه محلي وشامل وعشوائي، مما يسمح بمعالجة التسلسلات حتى 4096 توكن مع الحفاظ النظري على الخصائص الشاملة.
Sliding Window Attention
تقنية حيث يركز كل توكن على عدد ثابت من الجيران في نافذة منزلقة، مما يقلل التعقيد إلى O(n*w) حيث w هو حجم النافذة.
Dilated Sliding Window
متغير من الانتباه بالنافذة المنزلقة يستخدم قفزات (توسع) لزيادة المجال الاستقبالي دون زيادة التعقيد الحسابي.
Global Attention
آلية حيث يمكن لبعض التوكنات المحددة مسبقاً (مثل توكنات [CLS]) أن تجذب انتباه جميع التوكنات الأخرى، مما يسمح بنشر المعلومات عبر التسلسل بأكمله.
Random Attention
نهج حيث يجذب كل توكن الانتباه بشكل عشوائي على مجموعة فرعية من التوكنات البعيدة، محافظاً على الاتصالات طويلة المدى بتكلفة حسابية منخفضة.
Pattern-based Attention
استراتيجية تطبق أنماطاً محددة مسبقاً للانتباه المتفرق (مثل أنماط ثابتة أو مكتسبة) لتحديد أزواج المفتاح-الاستعلام المراد حسابها.
Linear Complexity Attention
فئة من طرق الانتباه التي تقلل التعقيد الخوارزمي من O(n²) إلى O(n)، مما يسمح بالتوسع للتسلسلات الطويلة جداً.
الانتباه القائم على النواة
نهج يستخدم النوى لتقريب الانتباه softmax، مما يسمح بحسابات بتعقيد خطي عبر تقنيات مثل FAVOR+ (Fast Attention Via Positive Orthogonal Random Features).
التقريب منخفض الرتبة
تقنية تقرب مصفوفة الانتباه عبر تحلل منخفض الرتبة، مما يقلل بشكل كبير من احتياجات الذاكرة والحوسبة.
الانتباه القائم على التجميع
طريقة تجمع أولاً التوكنات في مجموعات متشابهة ثم تطبق الانتباه على مستوى المجموعات، مما يقلل من عدد العمليات الحسابية المطلوبة.
انتباه التوجيه
آلية تتعلم توجيه الاستعلامات إلى المفاتيح الأكثر صلة باستخدام وظائف توجيه قائمة على المحتوى، مما يتجنب العمليات الحسابية غير الضرورية.
Reformer
بنية تستخدم حساسية التوضع (LSH) لتحديد حسابات الانتباه للأزواج الأكثر تشابهًا، مع تعقيد شبه خطي في طول التسلسل.
Performer
نموذج يعتمد على انتباه FAVOR+ ويقرب بفعالية انتباه softmax عبر خصائص عشوائية متعامدة موجبة، مما يسمح بتعقيد خطي.
Linformer
بنية تُسقط مصفوفة المفتاح-القيمة في فضاء ذي أبعاد أقل، محولة التعقيد من O(n²) إلى O(n*k) حيث k << n.
محول التوجيه
نموذج يستخدم توجيهًا قائمًا على k-means لتجميع التوكنات وتطبيق الانتباه انتقائيًا، محسنًا العمليات الحسابية للتبعيات طويلة المدى.
فرز سنكهورن
خوارزمية تستخدم تكرار سنكهورن لتحويل الانتباه إلى تبديل قابل للاشتقاق، مطبق في بنى الانتباه المتفرق.
انتباه فعال
نموذج يشمل جميع متغيرات الانتباه التي تهدف إلى تقليل التعقيد الحسابي مع الحفاظ على قدرات النمذجة للمحولات.