Tokenisation et Encodage

Méthode de Tokenisation

Ensemble de règles et d'algorithmes spécifiques (ex: BPE, WordPiece) qui définissent comment le texte brut est découpé en tokens, influençant directement la performance et la robustesse du modèle.

← Volver