قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
أباتشي سبارك
إطار عمل مفتوح المصدر للمعالجة الموزعة في الذاكرة مصمم لتسريع تحليلات البيانات الضخمة مع تنفيذ متوازي محسن.
RDD (مجموعة البيانات الموزعة المرنة)
هيكل بيانات أساسي في سبارك، غير قابل للتغيير ومقسم، يسمح بتحمل الأعطال من خلال إعادة بناء البيانات المفقودة.
إطار البيانات
مجموعة من البيانات الموزعة منظمة في أعمدة مسماة، تشبه جدول قاعدة البيانات، محسنة للاستعلامات المنظمة.
سبارك SQL
وحدة سبارك التي تدمج استعلامات SQL وعمليات إطار البيانات مع التحسين التلقائي عبر محسن Catalyst.
سبارك ستريمينغ
امتداد سبارك الذي يسمح بمعالجة تدفقات البيانات في الوقت الفعلي مع دفعات صغيرة لزمن انتقال شبه حقيقي.
MLlib
مكتبة التعلم الآلي الموزعة في سبارك توفر خوارزميات التصنيف، الانحدار، التجميع، والتوصية.
GraphX
واجهة برمجة تطبيقات سبارك لمعالجة الرسوم البيانية الموزعة، تجمع بين مزايا الرسوم البيانية وأداء RDD.
DAG (الرسم البياني الموجه غير الدوري)
تمثيل لخطة تنفيذ تحويلات سبارك، محسن لإزالة التكرارات وتوازي المعالجة.
سائق Spark
العملية الرئيسية التي تنسق تنفيذ مهام Spark، تقوم بإنشاء SparkContext وتقسيم العمليات إلى مراحل.
منفذ Spark
عملية عامل تنفذ المهام الموكلة من قبل السائق على كل عقدة في الكتلة، تدير الذاكرة والبيانات المقسمة.
سياق Spark
نقطة الدخول الرئيسية لتطبيق Spark، تدير الاتصالات بالكتلة وتنسق الوصول إلى الموارد الموزعة.
قسم
وحدة منطقية لتوزيع البيانات في Spark، تتيح التوازي عن طريق تقسيم RDD/DataFrames إلى أجزاء مستقلة.
خلط
عملية مكلفة لإعادة توزيع البيانات بين الأقسام، ضرورية أثناء عمليات التجميع أو الربط أو التجميع في Spark.
محسن Catalyst
محرك تحسين الاستعلامات في Spark الذي يحول ويعيد تنظيم خطط التنفيذ لتحسين الأداء.
Tungsten
خلفية تنفيذ Spark التي تحسن الذاكرة ووحدة المعالجة المركزية من خلال الإدارة الثنائية للبيانات وإنشاء بايت كود.
تخزين مؤقت/إبقاء
آلية إبقاء RDD/DataFrames في الذاكرة أو على القرص لإعادة الاستخدام السريع وتجنب إعادة الحسابات المكلفة.
متغير البث
متغير للقراءة فقط يتم توزيعه بكفاءة على جميع المنفذين لتقليل عمليات نقل الشبكة أثناء عمليات الربط.
المُراكم
متغير مشترك إضافي يستخدم لتجميع المعلومات من المهام المتوازية بطريقة آمنة للخيوط.
التحويل
عملية كسولة تنشئ RDD/DataFrame جديد دون تنفيذ فوري، ويتم تأجيلها حتى يتم تشغيل إجراء محفز.
الإجراء
عملية تشغيل خطة DAG لإنتاج نتيجة، مما يجبر حساب جميع التحويلات السابقة.