قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
الانتباه التلقائي متعدد الرؤوس
الآلية الأساسية التي تسمح للنموذج بالتركيز في وقت واحد على مواضع مختلفة من التسلسل مع وجود تمثيلات انتباه متعددة.
ترميز الموضع
تقنية تُستخدم لدمج معلومات حول مواضع الرموز في التسلسلات، لأن نماذج التحويل (Transformers) لا تحتوي على تكرار داخلي.
مُكود - مُفَكِّر العمارة
هيكل ثنائي الاتجاه حيث يعالج المُكود تسلسل الإدخال ويُنشئ المُفَكِّك تسلسل الإخراج، وتُستخدم في مهام الترجمة
نموذج BERT ونماذج LM المقنعة
نماذج مسبقة التدريب مع هدف إخفاء الرموز، مما غير مسار معالجة اللغة الطبيعية من خلال تقديم تمثيلات سياقية ثنائية الاتجاه.
نماذج GPT والنماذج التلقائية المتسلسلة
هندسة تعتمد على المُحلل فقط، تولّد النص رمزًا تلو الآخر، وتتنبأ بالرمز التالي بناءً على الرموز السابقة.
محولات الرؤية (ViT)
تكييف المحولات لمهام رؤية الحاسوب، معالجة الصور كمتوالية من البقع (patches).
Attention Linéaire et Efficace
Variants d'attention réduisant la complexité quadratique en complexité linéaire pour traiter des séquences plus longues efficacement.
محولات متعددة الوسائط
هندسة معمارية موحدة تعالج في وقت واحد عدة وسائط (نص، صورة، صوت) في نفس فضاء التمثيل.
الضبط الدقيق وهندسة المطالبة
أساليب تكييف النماذج المدربة مسبقًا لمهام محددة مع القليل من بيانات التدريب.
قابلية تفسير آليات الانتباه
دراسة وتصور أوزان الانتباه لفهم قرارات النموذج وتحديد العلاقات المعتمدة
محولات الصوت
تطبيق هياكل المحولات على مهام معالجة الصوت والتعرف على الكلام وإنشاء الموسيقى.
الانتباه المتباعد
متغيرات الانتباه التي تأخذ في الاعتبار فقط مجموعة فرعية من المواقع لتقليل التعقيد الحسابي والذاكرة المطلوبة.