Tokenização

WordPiece

Variante do BPE desenvolvida pelo Google que maximiza a probabilidade da linguagem durante a fusão dos tokens, utilizada nomeadamente nos modelos BERT e suas variantes.

← Voltar