Tokenização e Codificação

Tokenização de Subpalavras

Estratégia de tokenização que divide as palavras em unidades menores (subpalavras), permitindo gerenciar um vocabulário finito enquanto é capaz de representar uma infinidade de palavras, incluindo neologismos e erros de digitação.

← Voltar