Tokenização Subword

Compressão de Tokens

Objetivo principal da tokenização de subpalavras, visando minimizar o número médio de tokens por palavra, mantendo um vocabulário de tamanho razoável para um desempenho computacional ótimo.

← Voltar