قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
DistilBERT (Distilled BERT)
نسخة مخففة من BERT تم إنشاؤها عن طريق تقطير المعرفة، تحافظ على 97% من أداء BERT الأساسي مع 40% فقط من المعاملات لاستدلال أسرع.
Positional Embeddings
متجهات تضاف إلى تضمينات الرموز في BERT لتشفير الموضع التسلسلي، وهي أساسية لأن الانتباه وحده لا يلتقط ترتيب الرموز.
BERT-base vs BERT-large
تهيئتان رئيسيتان لـ BERT: الأساسي (12 طبقة، 768 بُعدًا مخفيًا، 110 مليون معلمة) والكبير (24 طبقة، 1024 بُعدًا، 340 مليون معلمة) لتوازنات مختلفة بين الأداء والموارد.
Fine-tuning BERT
عملية تكييف أوزان BERT المدربة مسبقًا لمهام محددة بإضافة طبقات تصنيف والتدريب على بيانات موسومة للمهمة المستهدفة.
[SEP] Token
رمز خاص يستخدم في BERT لفصل مقاطع نصية مختلفة (مثل أزواج الجمل في مهام QA أو NSP)، يميز الحدود بين المقاطع.
Pre-training Objectives
مهام ذاتية الإشراف (MLM و NSP) تستخدم لتدريب BERT مسبقًا على نصوص غير موسومة واسعة، مما يسمح بتعلم تمثيلات لغوية عامة.
Transformer Encoder Stack
البنية الأساسية لـ BERT المكونة من طبقات متعددة من مشفرات المحولات، كل منها تحتوي على آليات انتباه متعددة الرؤوس وشبكات تغذية أمامية.
Domain-specific BERT
متغيرات من BERT مدربة مسبقًا على نصوص متخصصة (BioBERT للبيوميديكال، SciBERT للعلمي، FinBERT للمالي) لأداء أفضل في هذه المجالات.
BERT متعدد اللغات (mBERT)
نسخة من BERT مدربة مسبقًا على 104 لغة بمفردات مشتركة، قادرة على فهم ومعالجة النص في عدة لغات بنموذج واحد.
علم BERT (BERTology)
مجال بحثي مخصص لتحليل وتفسير وتحسين نماذج BERT، يدرس سلوكياتها الداخلية وقدراتها اللغوية.