Document Chunking

Token-based Chunking

Stratégie de segmentation utilisant les tokens comme unité de base, essentielle pour respecter les limites de contexte des modèles de langage comme GPT ou BERT.

← Retour