Tokenisation

Tokenizer Config

Fichier de configuration JSON contenant tous les hyperparamètres et métadonnées nécessaires à la reproduction exacte du comportement d'un tokenizer spécifique.

← Retour