تجزئة الكلمات الفرعية

ضغط الرموز

الهدف الرئيسي لتقسيم الكلمات الفرعية (subword tokenization) الذي يهدف إلى تقليل متوسط عدد الرموز لكل كلمة مع الحفاظ على حجم مفردات معقول لأداء حاسوبي أمثل.

← رجوع