تجزئة الكلمات الفرعية

رمز غير معروف (UNK)

رمز خاص يستخدم لتمثيل الكلمات أو الكلمات الفرعية غير الموجودة في مفردات أداة التقسيم (tokenizer)، مما يسمح للنموذج بالتعامل مع المدخلات خارج المفردات أثناء الاستدلال.

← رجوع