Жадная токенизация

Стратегия сегментации, которая всегда выбирает самый длинный возможный токен, соответствующий началу оставшегося слова для обработки. Этот простой и быстрый подход, однако, может иногда давать неоптимальные результаты по сравнению с глобальными методами, которые рассматривают всю последовательность.

← Назад