Tokenization Subword

Tokenización de Subpalabras

Técnica de segmentación del texto en unidades lingüísticas más pequeñas que las palabras pero más grandes que los caracteres, permitiendo gestionar eficientemente el vocabulario y las palabras raras en los modelos transformers.

← Volver