Tokenisation

Tokeniser

Outil ou algorithme spécifique qui implémente les règles et méthodes de décomposition du texte en tokens selon un schéma prédéterminé. Les tokeniseurs modernes incluent des prétraitements comme la normalisation Unicode et le pré-tokenisation avant la segmentation principale.

← Retour