Подсловная токенизация
Порог частоты токенов
Параметр, определяющий минимальную частоту, которую токен должен иметь, чтобы быть включенным в словарь; он критически важен для баланса между охватом и размером словаря при субтокенизации.
← Назад