Tokenização Subword

Algoritmo de Segmentação de Subpalavras

Conjunto de regras e heurísticas que determinam como dividir palavras desconhecidas em subpalavras existentes no vocabulário, baseado em princípios de maximização da probabilidade e minimização dos segmentos.

← Voltar