Tokenização e Codificação

Token Especial

Token predefinido com uma função semântica específica, como [CLS] para classificação, [SEP] para separação, ou [PAD] para alinhamento de sequências, usado para estruturar as entradas do modelo.

← Voltar