টোকেনাইজেশন

টোকেনাইজার

একটি নির্দিষ্ট সরঞ্জাম বা অ্যালগরিদম যা পূর্বনির্ধারিত নিয়ম ও পদ্ধতি অনুযায়ী পাঠ্যকে টোকেনে বিভক্ত করার কাজ করে। আধুনিক টোকেনাইজারগুলোতে ইউনিকোড স্বাভাবিকীকরণ এবং প্রি-টোকেনাইজেশনের মতো প্রাক-প্রক্রিয়াকরণ অন্তর্ভুক্ত থাকে, যা মূল বিভাজনের আগে করা হয়।

← ফিরে যান