Tokenization Subword

Token Desconocido (UNK)

Token especial utilizado para representar las palabras o subpalabras no presentes en el vocabulario del tokenizer, permitiendo al modelo gestionar las entradas fuera del vocabulario durante la inferencia.

← Volver