قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
مُحَوِّل التفرق
متغير يستخدم أنماط انتباه متفرقة تنبؤية لتقليل الاتصالات الحسابية مع الحفاظ على الاعتماديات بعيدة المدى. تقوم البنية بتقسيم الانتباه إلى مجموعات فرعية لتحسين المعالجة.
مُحَوِّل الضغط
امتداد لمحول-XL الذي يضغط الذاكرة المخفية القديمة في متجهات أكثر كثافة للحفاظ على التاريخ طويل الأمد. يسمح هذا الضغط بالتخزين الفعال للمعلومات السياقية الواسعة.
المُحَوِّل الشامل
بنية تكيفية يتم تحديد عمقها ديناميكيًا بواسطة آلية إيقاف تكيفية بدلاً من ثابتة. يطبق المحول الشامل تحولات الوزن المشتركة بشكل متكرر مع انتباه تكيفي.
مُحَوِّل المجموعات
بنية ثابتة تحت التبديل مبنية على الانتباه لمعالجة مجموعات البيانات بدون ترتيب محدد مسبقًا. يستخدم محول المجموعات كتل انتباه مستحثة وآليات تجميع للعمليات على المجموعات.
المُرَكِّب
متغير يتم فيه تعلم أوزان الانتباه مباشرة من تضمينات الموضع أو إنشاؤها بواسطة شبكات صغيرة، دون الاعتماد على محتوى التوكنات. تلغي هذه الطريقة الحاجة إلى عمليات حساب التشابه QK.
المُحَوِّل الخطي
بنية تستخدم التحليل الكيرنلي للانتباه لتحقيق تعقيد خطي في التسلسل والذاكرة. يستبدل المحول الخطي softmax بوظائف كيرنل موجبة للسماح بإعادة الترتيب الترابطي.
الانتباه المحلي
آلية انتباه محصورة في الأحياء المحيطة بكل موضع، مما يقلل بشكل كبير من أزواج التوكنات التي يجب مراعاتها. هذا النهج فعال بشكل خاص للبيانات ذات الهيكل المحلي القوي.
الانتباه المُتَّسِع
امتداد لانتباه النافذة المنزلقة يستخدم أنماطًا متسعة لالتقاط الاعتماديات ذات المدى الأطول دون زيادة التعقيد. تسمح الفجوات في النمط بالتوسع الأسي للمجال الاستقبالي.
الانتباه المحوري
تحليل الانتباه متعدد الأبعاد إلى انتباهات أحادية البعد تُطبق بشكل متسلسل على كل محور. يقلل الانتباه المحوري التعقيد من O(n²) إلى O(n*d) حيث d هو عدد الأبعاد.