Tokenization Subword

Subword Segmentation Algorithm

Ensemble de règles et heuristiques déterminant comment diviser les mots inconnus en sous-mots existants du vocabulaire, basé sur des principes de maximisation de la probabilité et de minimisation des segments.

← Geri