Tokenisation

Tokenizer Inference

Phase d'application d'un tokenizer entraîné sur de nouvelles données textuelles, convertissant le texte brut en séquences de tokens prêtes pour le traitement par le modèle.

← رجوع