Tokenização

Special Tokens

Tokens reservados como [CLS], [SEP], [MASK], [PAD] utilizados para delimitar sequências, ocultar elementos ou preencher os lotes até um comprimento uniforme.

← Voltar