Токенизация

Инференс токенизатора

Фаза применения обученного токенизатора к новым текстовым данным, преобразующая необработанный текст в последовательности токенов, готовых для обработки моделью.

← Назад