Tokenization Subword

Token Compression

Objectif principal de la tokenization subword visant à minimiser le nombre moyen de tokens par mot tout en maintenant un vocabulaire de taille raisonnable pour des performances computationnelles optimales.

← Back