Tokenization Subword

Compresión de tokens

Objetivo principal de la tokenización subword que busca minimizar el número promedio de tokens por palabra manteniendo un vocabulario de tamaño razonable para un rendimiento computacional óptimo.

← Volver