Tokenization Subword

Unknown Token (UNK)

Token spécial utilisé pour représenter les mots ou sous-mots non présents dans le vocabulaire du tokenizer, permettant au modèle de gérer les entrées hors-vocabulaire lors de l'inférence.

← Indietro