قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
الانتباه الذاتي
آلية أساسية تتيح للمحولات حساب الأهمية النسبية الديناميكية لكل عنصر في تسلسل بالنسبة للآخرين.
انتباه متعدد الرؤوس
امتداد للانتباه الذاتي حيث تعمل عدة رؤوس انتباه بالتوازي لالتقاط أنواع مختلفة من العلاقات في البيانات.
Positional Encoding
تقنية تدمج معلومات الموضع التسلسلي في التضمينات لتعويض غياب التكرار في المحولات.
بنية المُشَفِّر-المُفَكِّك
الهيكل الأساسي للمُحوّلات الأصلية الذي يجمع بين مُشَفِّر لمعالجة المُدخلات ومُفَكِّك لتوليد المُخرجات.
BERT (تمثيلات المُشفر ثنائي الاتجاه)
عائلة من النماذج المُدرَّبة مسبقًا تعتمد على بنية المُشفر فقط مع فهم ثنائي الاتجاه للسياق.
GPT (المحول المدرب مسبقًا التوليدي)
هندسة وحدة فك الترميز فقط محسنة لتوليد النص الذاتي الانحدار، مشكّلة أساس نماذج اللغة الكبيرة.
رؤية المحولات (ViT)
تطبيق بنى المحولات على معالجة الصور بتقسيم الصور إلى بقع ومعالجتها كمتواليات.
آليات الانتباه المتناثرة
متغيرات الانتباه التي تقلل التعقيد الحسابي عن طريق الحد من الاتصالات بين عناصر التسلسل.
الانتباه المتقاطع
آلية انتباه حيث تأتي الاستعلامات من تسلسل بينما تأتي المفاتيح والقيم من تسلسل مختلف آخر.
قوانين توسيع المحولات
مبادئ تجريبية تصف كيفية تطور أداء المحولات مع حجم النموذج، والبيانات، والحساب.
تحليل رؤوس الانتباه
دراسة الأدوار المتخصصة لرؤوس الانتباه المختلفة في المحولات لفهم آلية عملها الداخلية.
الانتباه الهرمي
هندسة انتباه منظمة على عدة مستويات هرمية لمعالجة البيانات المعقدة المنظمة.