टोकनाइजेशन
विशेष टोकन्स
आरक्षित टोकन्स जैसे [CLS], [SEP], [MASK], [PAD] जिनका उपयोग अनुक्रमों को सीमांकित करने, तत्वों को छिपाने या बैचों को एक समान लंबाई तक भरने के लिए किया जाता है।
← पीछेआरक्षित टोकन्स जैसे [CLS], [SEP], [MASK], [PAD] जिनका उपयोग अनुक्रमों को सीमांकित करने, तत्वों को छिपाने या बैचों को एक समान लंबाई तक भरने के लिए किया जाता है।
← पीछे