التجزئة والترميز

تقسيم SentencePiece

تطبيق محدد يعتبر النص تدفقًا من يونيكود ويطبق خوارزمية تقسيم (مثل BPE أو unigram) لإنشاء مفردات قابلة للفك بالكامل ومستقلة عن اللغة.

← رجوع