Pré-treinamento e Corpora

BPE (Byte Pair Encoding)

Algoritmo de tokenização subword que mescla iterativamente os pares de caracteres mais frequentes para criar um vocabulário otimizado para modelos de linguagem.

← Voltar