Tokenización

WordPiece

Variante del BPE desarrollada por Google que maximiza la probabilidad del lenguaje durante la fusión de tokens, utilizada especialmente en los modelos BERT y sus variantes.

← Volver