Подсловная токенизация

Алгоритм сегментации на подслова

Набор правил и эвристик, определяющий способ разделения неизвестных слов на существующие в словаре подслова, основанный на принципах максимизации вероятности и минимизации количества сегментов.

← Назад