টোকেনাইজেশন সাবওয়ার্ড

শব্দভাণ্ডার কভারেজ

একটি মেট্রিক যা মূল পাঠ্যের সেই অনুপাত মূল্যায়ন করে যা UNK টোকেন ছাড়াই উপস্থাপন করা যেতে পারে, আধুনিক মূল পাঠ্যে সাধারণত ৯৯.৯% এর বেশি কভারেজ অর্জনের জন্য সাবওয়ার্ড অ্যালগরিদম দ্বারা অপ্টিমাইজ করা হয়।

← ফিরে যান