Tokenização

Inferência do Tokenizer

Fase de aplicação de um tokenizer treinado em novos dados textuais, convertendo texto bruto em sequências de tokens prontas para processamento pelo modelo.

← Voltar