Tokenization Subword

Algoritmo de segmentación subword

Conjunto de reglas y heurísticas que determinan cómo dividir palabras desconocidas en subpalabras existentes del vocabulario, basado en principios de maximización de probabilidad y minimización de segmentos.

← Volver