تجزئة الكلمات الفرعية

تقسيم على مستوى الأحرف (Character-level Tokenization)

نهج تقسيم يعامل كل حرف فردي كرمز (token)، مما يلغي مشاكل المفردات ولكنه يزيد من طول التسلسلات على حساب الكفاءة الحسابية.

← رجوع