ترميز
تقسيم الكلمات الجشع (Greedy Tokenization)
استراتيجية تجزئة تختار دائمًا أطول رمز (token) ممكن يتوافق مع بداية الكلمة المتبقية للمعالجة. يمكن أن يؤدي هذا النهج البسيط والسريع أحيانًا إلى نتائج دون المستوى الأمثل مقارنة بالطرق الشاملة التي تأخذ في الاعتبار التسلسل بأكمله.
← رجوع