قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
تجزئة المستندات
عملية تقسيم المستندات الكبيرة إلى أجزاء أصغر ومتماسكة لتحسين معالجتها بواسطة نماذج اللغة وأنظمة البحث المتجه.
التجزئة بحجم ثابت
استراتيجية تجزئة تقسم المستندات إلى أجزاء بحجم محدد مسبقاً، بناءً على عدد ثابت من الأحرف أو الكلمات أو الرموز المميزة.
التجزئة الدلالية
نهج تجزئة يعتمد على الفهم الدلالي للمحتوى، مما يخلق أجزاء تحافظ على التماسك الموضوعي والسياقي.
التقسيم المتكرر للحروف
طريقة تجزئة هرمية تقسم المستندات وفقاً لتسلسل من الفواصل (فقرات، جمل، كلمات) حتى الوصول إلى حجم الجزء المطلوب.
التجزئة القائمة على الرموز المميزة
استراتيجية تجزئة تستخدم الرموز المميزة كوحدة أساسية، وهي ضرورية لاحترام حدود السياق في نماذج اللغة مثل GPT أو BERT.
الأجزاء المتداخلة
تقنية تخلق أجزاء ذات مناطق تداخل للحفاظ على السياق بين الأجزاء المتجاورة وتحسين التماسك أثناء الاسترجاع.
التجزئة الهرمية
نهج متعدد المستويات ينظم الأجزاء وفقاً لهيكل هرمي (فصول، أقسام، فقرات) لتمكين الاسترجاع السياقي بمستويات دقة مختلفة.
التجزئة بنافذة منزلقة
طريقة تنزلق نافذة بحجم ثابت على المستند بخطوة محددة، مما يخلق أجزاء متسلسلة مع تداخل محكم.
التجزئة الواعية لـ Markdown
استراتيجية تجزئة ذكية تحترم بنية Markdown للمستندات، تقوم بالتقسيم عند الحدود المنطقية للعناوين والقوائم وكتل التعليمات البرمجية.
التجزئة الواعية للسياق
نهج متقدم يأخذ في الاعتبار السياق الدلالي الشامل للمستند لتحديد نقاط التقسيم المثلى التي تحافظ على الاتساق السردي.
التجزئة القائمة على التضمين
طريقة تستخدم التضمينات الدلالية لتحديد الحدود الطبيعية بين الأجزاء المختلفة موضوعياً في المستند.
استراتيجية التجزئة الهجينة
مزيج من عدة تقنيات للتجزئة، مثل التجزئة الدلالية مع حدود حجم ثابتة، لتحسين كل من الاتساق والكفاءة.
تحديد حجم الأجزاء الديناميكي
نهج تكيفي يقوم بضبط حجم الأجزاء بناءً على كثافة المعلومات والتعقيد الدلالي لكل قسم في المستند.
التجزئة المعززة بالبيانات الوصفية
تقنية تربط البيانات الوصفية السياقية (الموضع، العنوان الرئيسي، المستوى الهرمي) بكل جزء لتحسين استرجاع وإعادة بناء السياق.
التجزئة عبر المستندات
استراتيجية متقدمة تقوم بتجزئة مجموعات المستندات المرتبطة إلى أجزاء متماسكة تحافظ على العلاقات بين المستندات لفهم شامل أفضل.
التجزئة متعددة المستويات
نهج ينشئ مستويات متعددة من الأجزاء (ملخصات، أقسام مفصلة، فقرات) للسماح باسترجاع مرن وفقاً لاحتياجات الدقة.
التجزئة التكيفية
نظام ذكي يقوم بضبط استراتيجية التجزئة ديناميكيًا بناءً على نوع المستند والمجال وأنماط الاستخدام الملاحظة.