Tokenização

Tokenização Gulosa

Estratégia de segmentação que sempre seleciona o token mais longo possível correspondente ao início da palavra restante a ser processada. Esta abordagem simples e rápida pode, no entanto, por vezes produzir sub-optimalidades em comparação com métodos globais que consideram a sequência inteira.

← Voltar