टोकनाइजेशन

बाइट पेयर एन्कोडिंग (BPE)

डेटा संपीड़न एल्गोरिदम जो टोकनाइजेशन के लिए अनुकूलित है, जो सबसे अधिक बार आने वाले वर्ण जोड़ों को पुनरावृत्त रूप से मिलाकर अनुकूलित उपशब्दों की शब्दावली बनाता है।

← पीछे