Tokenisation

Vocabulary Size

Paramètre critique déterminant le nombre total de tokens uniques dans le vocabulaire d'un modèle, influençant directement la taille du modèle et sa capacité à gérer la diversité linguistique.

← Retour