Tokenização

Unigram Language Model

Abordagem de tokenização baseada em um modelo de linguagem unigrama que seleciona a melhor segmentação maximizando a probabilidade produto dos tokens na sequência.

← Voltar