টোকেনাইজেশন সাবওয়ার্ড

অজানা টোকেন (UNK)

বিশেষ টোকেন যা টোকেনাইজারের শব্দভাণ্ডারে অনুপস্থিত শব্দ বা সাবওয়ার্ডগুলিকে উপস্থাপন করতে ব্যবহৃত হয়, ইনফারেন্সের সময় মডেলকে আউট-অফ-ভোকাবুলার ইনপুট পরিচালনা করতে সক্ষম করে।

← ফিরে যান