Tokenização

SentencePiece

Biblioteca de tokenização independente da língua que trata o texto como uma sequência unicode bruta, eliminando a necessidade de pré-processamento específico para cada língua.

← Voltar