Tokenização

Tokenização por Palavra

Método tradicional onde cada palavra completa (delimitada por espaços ou pontuações) se torna um token único. Esta abordagem sofre de limitações significativas com palavras raras, erros de ortografia e vocabulários de grande porte, tornando-a pouco adequada para LLMs modernos.

← Voltar