Токенизация

Unigram Language Model

Подход к токенизации на основе униграммной языковой модели, который выбирает наилучшее разбиение, максимизируя произведение вероятностей токенов в последовательности.

← Назад