Tokenización

SentencePiece

Biblioteca de tokenización independiente del idioma que trata el texto como una secuencia unicode en bruto, eliminando la necesidad de preprocesamiento específico para cada idioma.

← Volver