एआई शब्दावली
आर्टिफिशियल इंटेलिजेंस का पूर्ण शब्दकोश
दस्तावेज़ चंकिंग
बड़े दस्तावेज़ों को छोटे और सुसंगत खंडों में विभाजित करने की प्रक्रिया, जिससे भाषा मॉडल और वेक्टर खोज प्रणालियों द्वारा उनके प्रसंस्करण को अनुकूलित किया जा सके।
निश्चित आकार चंकिंग
दस्तावेज़ों को पूर्वनिर्धारित आकार के खंडों में विभाजित करने की रणनीति, जो वर्णों, शब्दों या टोकनों की एक स्थिर संख्या पर आधारित होती है।
सिमेंटिक चंकिंग
सामग्री की शब्दार्थिक समझ पर आधारित विभाजन दृष्टिकोण, जो विषयगत और संदर्भगत सुसंगतता बनाए रखने वाले खंड बनाता है।
पुनरावर्ती वर्ण विभाजन
पदानुक्रमित विभाजन विधि जो दस्तावेज़ों को विभाजकों के अनुक्रम (पैराग्राफ, वाक्य, शब्द) के अनुसार विभाजित करती है जब तक कि वांछित खंड आकार प्राप्त न हो जाए।
टोकन-आधारित चंकिंग
टोकन को मूल इकाई के रूप में उपयोग करने वाली विभाजन रणनीति, जो जीपीटी या बर्ट जैसे भाषा मॉडलों की संदर्भ सीमाओं का पालन करने के लिए आवश्यक है।
ओवरलैपिंग चंक्स
आसन्न खंडों के बीच संदर्भ को संरक्षित करने और पुनर्प्राप्ति के दौरान सुसंगतता में सुधार करने के लिए ओवरलैप क्षेत्रों वाले खंड बनाने की तकनीक।
पदानुक्रमित चंकिंग
बहु-स्तरीय दृष्टिकोण जो खंडों को एक पदानुक्रमित संरचना (अध्याय, अनुभाग, पैराग्राफ) के अनुसार व्यवस्थित करता है, जिससे विभिन्न स्तरों पर संदर्भगत पुनर्प्राप्ति संभव होती है।
स्लाइडिंग विंडो चंकिंग
एक निश्चित आकार की विंडो को परिभाषित चरण के साथ दस्तावेज़ पर स्लाइड करने की विधि, जो नियंत्रित ओवरलैप के साथ अनुक्रमिक खंड बनाती है।
Markdown-aware Chunking
Stratégie de segmentation intelligente qui respecte la structure Markdown des documents, découpant aux frontières logiques des titres, listes et blocs de code.
Context-aware Chunking
Approche avancée considérant le contexte sémantique global du document pour déterminer les points de coupure optimaux préservant la cohérence narrative.
Embedding-based Chunking
Méthode utilisant les embeddings sémantiques pour identifier les frontières naturelles entre les segments thématiquement distincts dans un document.
Hybrid Chunking Strategy
Combination de plusieurs techniques de segmentation, comme le chunking sémantique avec des limites de taille fixes, pour optimiser à la fois la cohérence et l'efficacité.
Dynamic Chunk Sizing
Approche adaptative ajustant la taille des fragments en fonction de la densité d'information et de la complexité sémantique de chaque section du document.
Metadata-enriched Chunking
Technique associant des métadonnées contextuelles (position, titre parent, niveau hiérarchique) à chaque fragment pour améliorer la récupération et la reconstruction du contexte.
Cross-document Chunking
Stratégie avancée segmentant des ensembles de documents connexes en fragments cohérents préservant les relations inter-documents pour une meilleure compréhension globale.
Multi-level Chunking
Approche créant plusieurs niveaux de fragments (résumés, sections détaillées, paragraphes) pour permettre une récupération flexible selon les besoins de granularité.
अनुकूली चंकिंग
एक बुद्धिमान प्रणाली जो दस्तावेज़ के प्रकार, डोमेन और देखे गए उपयोग पैटर्न के आधार पर विभाजन रणनीति को गतिशील रूप से समायोजित करती है।