Tokenización

Tokenización probabilística

Enfoque que utiliza modelos probabilísticos para evaluar diferentes segmentaciones posibles y seleccionar la más probable según el corpus de entrenamiento. A diferencia de los métodos deterministas, puede producir tokenizaciones variables en función de las probabilidades condicionales aprendidas.

← Volver