Подсловная токенизация

Токенизация на уровне слов

Традиционный метод, использующий целые слова в качестве единиц токенизации, ограниченный взрывным ростом словаря и неспособностью обрабатывать слова вне словаря и морфологические вариации.

← Назад