টোকেনাইজেশন
বিশেষ টোকেন
সংরক্ষিত টোকেন যেমন [CLS], [SEP], [MASK], [PAD] যা সিকোয়েন্স সীমাবদ্ধ করতে, উপাদান লুকাতে বা ব্যাচগুলিকে অভিন্ন দৈর্ঘ্যে পূরণ করতে ব্যবহৃত হয়।
← ফিরে যানসংরক্ষিত টোকেন যেমন [CLS], [SEP], [MASK], [PAD] যা সিকোয়েন্স সীমাবদ্ধ করতে, উপাদান লুকাতে বা ব্যাচগুলিকে অভিন্ন দৈর্ঘ্যে পূরণ করতে ব্যবহৃত হয়।
← ফিরে যান