Tokenización

Tokenización por palabra

Método tradicional donde cada palabra completa (delimitada por espacios o puntuación) se convierte en un token único. Este enfoque sufre de limitaciones importantes con palabras raras, errores ortográficos y vocabularios de gran tamaño, haciéndolo poco adecuado para los LLM modernos.

← Volver