Tokenização Subword

Tokenização em Nível de Palavra

Método tradicional que usa palavras inteiras como unidades de token, limitado pela explosão do vocabulário e pela incapacidade de lidar com palavras fora do vocabulário e variações morfológicas.

← Voltar