Tokenização Subword

Tokenização em Nível de Caractere

Abordagem de segmentação que trata cada caractere individual como um token, eliminando problemas de vocabulário, mas aumentando o comprimento das sequências em detrimento da eficiência computacional.

← Voltar