Подсловная токенизация

Неизвестный токен (UNK)

Специальный токен, используемый для представления слов или подслов, отсутствующих в словаре токенизатора, что позволяет модели обрабатывать входные данные вне словаря во время инференса.

← Назад