Tokenização

Tokenização probabilística

Abordagem que utiliza modelos probabilísticos para avaliar diferentes segmentações possíveis e selecionar a mais provável de acordo com o corpus de treinamento. Ao contrário dos métodos determinísticos, ela pode produzir tokenizações variáveis em função das probabilidades condicionais aprendidas.

← Voltar