Tokenización

Truncamiento de Vocabulario

Proceso de limitar el vocabulario a los N tokens más frecuentes, reemplazando los tokens menos frecuentes por subpalabras o un token [UNK] para optimizar la eficiencia computacional.

← Volver