টোকেনাইজেশন সাবওয়ার্ড

সাবওয়ার্ড সেগমেন্টেশন অ্যালগরিদম

নিয়ম এবং হিউরিস্টিকসের একটি সেট যা নির্ধারণ করে কিভাবে অজানা শব্দগুলিকে শব্দভাণ্ডারের বিদ্যমান সাবওয়ার্ডে বিভক্ত করা হবে, সম্ভাব্যতা সর্বাধিককরণ এবং সেগমেন্ট হ্রাস করার নীতির উপর ভিত্তি করে।

← ফিরে যান