Tokenização

Byte Pair Encoding (BPE)

Algoritmo de compressão de dados adaptado para tokenização que funde iterativamente os pares de caracteres mais frequentes para criar um vocabulário de subpalavras otimizado.

← Voltar