Tokenization Subword

Análisis Morfológico

Proceso de identificación de los morfemas y estructuras gramaticales en las palabras, optimizado por los tokenizers de subpalabras que capturan naturalmente las regularidades morfológicas de los idiomas.

← Volver