Токенизация

SentencePiece

Языково-независимая библиотека токенизации, которая обрабатывает текст как последовательность необработанных юникодов, устраняя необходимость в языково-специфической предобработке.

← Назад