Токенизация

Special Tokens

Зарезервированные токены, такие как [CLS], [SEP], [MASK], [PAD], используемые для разграничения последовательностей, маскирования элементов или заполнения батчей до единой длины.

← Назад