Tokenización

Inferencia del Tokenizador

Fase de aplicación de un tokenizador entrenado sobre nuevos datos de texto, convirtiendo el texto crudo en secuencias de tokens listas para el procesamiento por el modelo.

← Volver