Tokenización

Tokenización voraz

Estrategia de segmentación que siempre selecciona el token más largo posible que corresponde al inicio de la palabra restante a procesar. Este enfoque simple y rápido, sin embargo, a veces puede producir subóptimos en comparación con métodos globales que consideran toda la secuencia.

← Volver