টোকেনাইজেশন সাবওয়ার্ড

অক্ষর-স্তরের টোকেনাইজেশন

বিভাজনের পদ্ধতি যা প্রতিটি পৃথক অক্ষরকে টোকেন হিসেবে বিবেচনা করে, শব্দভাণ্ডারের সমস্যা দূর করে কিন্তু গণনাগত দক্ষতার ক্ষতিতে ক্রমগুলির দৈর্ঘ্য বাড়ায়।

← ফিরে যান