التجزئة والترميز

تقسيم بالمسافات البيضاء (Whitespace Tokenisation)

تقنية تقسيم بسيطة تقوم بتقسيم النص بالاعتماد فقط على أحرف المسافات البيضاء، وتُستخدم غالبًا كخطوة أولى قبل الطرق الأكثر تعقيدًا.

← رجوع