قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
إنتروبيا شانون
مقياس رياضي لعدم اليقين أو الفوضى في مجموعة من البيانات، يتم حسابه كمجموع الاحتمالات مضروبة في لوغاريتمها السالب. يستخدم كمعيار تقسيم لكمية نقاء عقدة في أشجار القرار.
معيار التقسيم
قاعدة رياضية تستخدم لتحديد أفضل سمة وعتبة تقسيم عند كل عقدة في شجرة القرار، بناءً على تعظيم كسب المعلومات أو تقليل عدم النقاء. يحدد هيكل وكفاءة التنبؤ للشجرة النهائية.
الإنتروبيا الشرطية
مقياس عدم اليقين المتبقي حول متغير عشوائي Y عند معرفة قيمة متغير آخر X، أساسي لحساب كسب المعلومات. يمثل متوسط الإنتروبيا للتوزيعات الشرطية لـ Y مع العلم بكل قيمة من X.
نسبة المعلومات
نسخة معيارية من كسب المعلومات يقسم الأخير على الإنتروبيا الجوهرية لسمة التقسيم لتجنب التحيز نحو السمات ذات القيم الكثيرة. يعوض الميل الطبيعي لكسب المعلومات لتفضيل السمات ذات الدقة العالية.
مبدأ MDL
مبدأ الوصف بأقل طول يستخدم نظرية المعلومات لتحقيق التوازن بين تعقيد النموذج وجودة الت拟合، يعاقب التقسيمات التي لا توفر معلومات كافية مقارنة بتكلفتها الوصفية. بديل منظم للمعايير التقسيمية النقية.
التقليم القائم على الإنتروبيا
تقنية تقليم ما بعد التقليم تستخدم معايير الإنتروبيا لتقييم ما إذا كان إزالة فرع يحسن التوازن بين التحيز والتباين في النموذج. تقارن كسب المعلومات المحتمل بتكلفة التعقيد الإضافية.
الإنتروبيا المشتركة
مقياس عدم اليقين الإجمالي لنظام مكون من عدة متغيرات عشوائية في وقت واحد، أساسي لفهم العلاقات بين السمات في بناء أشجار القرار. تستخدم في حساب المعلومات المتبادلة.
نسبة الكسب
تعديل لكسب المعلومات معيار بإنتروبيا التقسيم لتصحيح التحيز نحو السمات ذات الكثافة العالية، تم إدخاله في خوارزمية C4.5. يحافظ على مزايا كسب المعلومات مع تقليل حساسيته لعدد القيم.
معلومات الكسب النسبي
نسخة موحدة من كسب المعلومات معبرة كنسبة من الانتروبيا الأولية، مما يسمح بالمقارنة بين مجموعات البيانات المختلفة أو المشاكل. يسهل التفسير ومقارنة أداء التقسيم.
التقسيم الثنائي
استراتيجية تقسيم تنشئ بالضبط عقدتين فرعيتين في كل خطوة، مما يبسط حساب كسب المعلومات ويقلل من التعقيد الهيكلي للشجرة. يحسن الكفاءة الحسابية مع الحفاظ على القوة التعبيرية للنموذج.
التقسيم متعدد الطرق
نهج تقسيم ينشئ عدد العقد الفرعية بعدد القيم المميزة للسمة المختارة، مما يزيد من كسب المعلومات الخام. يتطلب غالبًا تقنيات تنظيم مثل نسبة الكسب لتجنب الإفراط في التعلم.