تجزئة الكلمات الفرعية

تقسيم على مستوى الكلمات (Word-level Tokenization)

طريقة تقليدية تستخدم الكلمات الكاملة كوحدات رمزية، محدودة بانفجار المفردات وعدم القدرة على التعامل مع الكلمات خارج المفردات والتغيرات الصرفية.

← رجوع