Tokenização Subword

Token Desconhecido (UNK)

Token especial usado para representar palavras ou subpalavras não presentes no vocabulário do tokenizer, permitindo que o modelo lide com entradas fora do vocabulário durante a inferência.

← Voltar