Токенизация и кодирование

Специальный токен

Предопределенный токен с конкретной семантической функцией, например [CLS] для классификации, [SEP] для разделения или [PAD] для выравнивания последовательностей, используемый для структурирования входных данных модели.

← Назад