Токенизация

Усечение словаря

Процесс ограничения словаря N наиболее частыми токенами, при котором менее частые токены заменяются субтокенами или токеном [UNK] для оптимизации вычислительной эффективности.

← Назад