Tokenisation

Special Tokens

Tokens réservés comme [CLS], [SEP], [MASK], [PAD] utilisés pour délimiter les séquences, masquer des éléments ou remplir les batchs jusqu'à une longueur uniforme.

← رجوع