قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
ألبرت (ALBERT)
نسخة خفيفة من BERT تقلل بشكل كبير من المعلمات من خلال مشاركة التضمينات وتحليل المصفوفات للطبقات. تحافظ على أداء تنافسي مع كونها أكثر كفاءة من حيث الذاكرة.
إلكترا (ELECTRA)
هندسة معمارية فعالة للتدريب المسبق تستبدل نمذجة اللغة المقنعة باستبدال الرموز التالفة. تستخدم مميزًا يحدد الرموز المستبدلة، مما يسمح بتدريب أسرع وأكثر كفاءة.
إيرني (ERNIE)
نموذج صيني يدمج المعرفة المنظمة والهرمية في بنية المحول الأساسية. يقوم بإخفاء الكلمات والكيانات والجمل في وقت واحد لالتقاط دلالات متعددة المستويات.
بارت (BART)
هندسة معمارية للمحول ثنائية الاتجاه وتلقائية التراجع تجمع بين مزايا BERT و GPT. تستخدم مشفرًا ومفككًا مع إتلاف النص للتدريب المسبق، وهي ممتازة لمهام التوليد.
محولات القمع (Funnel Transformers)
هندسة معمارية هرمية تقلل تدريجياً من طول التسلسلات عبر الطبقات مع الحفاظ على المعلومات الهامة. توفر بشكل كبير الذاكرة الحسابية للتسلسلات الطويلة.
ديبرتا (DeBERTa)
تحسين لـ BERT يدمج فك التشفير المحسن مع الانتباه إلى المحتوى والموضع المفكك. يستخدم آلية انتباه مفككة وقناعًا محسّنًا للحجم للحصول على أداء أفضل.
تايني بيرت (TinyBERT)
نسخة فائقة الصغر من BERT تقلل المعلمات بما يصل إلى 7.5 مرة مع الحفاظ على أداء عالٍ. تطبق التقطير ثنائي الاتجاه والانتباه متعدد المستويات للضغط.
كاميمبيرت (CamemBERT)
نسخة فرنسية من BERT تم تدريبها مسبقًا على 138 جيجابايت من النص الفرنسي. تحافظ على بنية BERT الأصلية ولكنها متخصصة في فهم ومعالجة اللغة الفرنسية.
فلوبرت
نموذج لغوي فرنسي يعتمد على محول (Transformer) مع تدريب مسبق تدريجي باستخدام مجموعات بيانات (كوربوس) متزايدة الحجم. يدمج الخصائص اللغوية الفرنسية لتحقيق أداء أمثل.
إكس إل إم-روبرتا
نسخة متعددة اللغات من روبرتا مدربة مسبقًا على 100 لغة باستخدام مجموعة بيانات Common Crawl الضخمة. تتفوق على XLM و mBERT بفضل تدريب مسبق محسّن وإدارة أفضل للغات ذات الموارد المنخفضة.
سينتنس-بيرت
تعديل لـ BERT مُحسّن لتشفير الجمل الكاملة إلى متجهات دلالية. يستخدم الشبكات السيامية والثلاثية لإنتاج تضمينات (embeddings) ذات صلة بالتشابه الدلالي.
فيديو-بيرت
امتداد متعدد الوسائط لـ BERT يتعلم التمثيلات المشتركة للفيديو والنص. يجري التدريب المسبق على الرموز المرئية واللغوية لفهم الفيديو.
بيرت المتحكم به
نسخة من BERT تسمح بالتحكم في سمات الأسلوب أثناء توليد النص. تدمج وحدات تحكم في البنية لتعديل الخصائص اللغوية المرغوبة.