Tokenization Subword

Word-level Tokenization

Méthode traditionnelle utilisant les mots entiers comme unités de token, limitée par l'explosion du vocabulaire et l'incapacité à gérer les mots hors-vocabulaire et les variations morphologiques.

← Retour