Tokenización

Codificación de Pares de Bytes (BPE)

Algoritmo de compresión de datos adaptado a la tokenización que fusiona iterativamente los pares de caracteres más frecuentes para crear un vocabulario de subpalabras optimizado.

← Volver