Tokenización

Modelo de Lenguaje Unigrama

Enfoque de tokenización basado en un modelo de lenguaje unigrama que selecciona la mejor segmentación maximizando la probabilidad producto de los tokens en la secuencia.

← Volver