Tokenization Subword

Tokenización a Nivel de Palabras

Método tradicional que utiliza palabras enteras como unidades de token, limitada por la explosión del vocabulario y la incapacidad de gestionar palabras fuera del vocabulario y variaciones morfológicas.

← Volver