Токенизация и кодирование

Субсловная токенизация

Стратегия токенизации, которая разбивает слова на более мелкие единицы (подслова), позволяя управлять конечным словарем, но при этом представлять бесконечное количество слов, включая неологизмы и опечатки.

← Назад