Tokenisation

Tokenisation contextuelle

Technique avancée où la décision de segmentation dépend du contexte surrounding, permettant des tokenisations différentes pour le même mot selon son usage. Cette approche, utilisée dans des modèles comme XLNet, améliore la représentation sémantique mais augmente significativement la complexité computationnelle.

← 返回