টোকেনাইজেশন

টোকেনাইজার ইনফারেন্স

মডেল প্রসেসিংয়ের জন্য প্রস্তুত টোকেন সিকোয়েন্সে কাঁচা টেক্সট রূপান্তর করে নতুন টেক্সচুয়াল ডেটাতে একটি প্রশিক্ষিত টোকেনাইজার প্রয়োগ করার পর্যায়।

← ফিরে যান