Tokenisation et Encodage

Token Spécial

Token prédéfini avec une fonction sémantique spécifique, tel que [CLS] pour la classification, [SEP] pour la séparation, ou [PAD] pour l'alignement des séquences, utilisé pour structurer les entrées du modèle.

← Volver