Tokenización

Espacio de tokenización

Dimensión matemática definida por el tamaño total del vocabulario, donde cada token se mapea a un identificador numérico único. Este espacio determina la complejidad computacional del procesamiento e influye directamente en el tamaño de los embeddings y las capas de atención en las arquitecturas transformer.

← Volver