قاموس الذكاء الاصطناعي

📖

المصطلحات

أباتشي هادوب مابريوس (Apache Hadoop MapReduce)

نموذج برمجة وتطبيق موزع لمعالجة مجموعات البيانات الكبيرة على المجموعات (clusters)، يقسم المعالجة إلى مرحلتي Map و Reduce. يُعد MapReduce أحد الأطر الأولى الشائعة للمعالجة الدفعية على نطاق واسع.

📖

المصطلحات

ETL (استخراج، تحويل، تحميل)

عملية دمج البيانات تتكون من استخراج البيانات من مصادر غير متجانسة، تحويلها وفقًا لقواعد العمل المحددة، ثم تحميلها في نظام مستهدف. تُنفذ مسارات ETL عادةً بشكل دفعي لمزامنة البيانات.

📖

المصطلحات

جدولة المهام (Job Scheduling)

آلية جدولة تلقائية لمهام المعالجة الدفعية وفقًا لجداول زمنية محددة مسبقًا، أو تبعيات، أو مشغلات أحداث. تدير الجدولة الحديثة التوازي، وإعادة المحاولة، ومراقبة التنفيذ.

📖

المصطلحات

الخلط (Shuffling)

عملية مكلفة لإعادة توزيع البيانات بين عقد المجموعة (cluster nodes) خلال مراحل التجميع أو التجميع في المعالجات الموزعة. غالبًا ما يمثل الخلط عنق الزجاجة الرئيسي في مهام MapReduce و Spark.

📖

المصطلحات

HDFS

نظام ملفات موزع مصمم لتخزين الملفات الكبيرة على أجهزة قياسية مع تحمل الأخطاء عن طريق النسخ المتماثل. يوفر HDFS وصولاً تسلسليًا عالي الأداء مناسبًا للمعالجة الدفعية بواسطة MapReduce.

📖

المصطلحات

YARN

منسق موارد لنظام Hadoop البيئي، مسؤول عن تخصيص وحدة المعالجة المركزية والذاكرة والتخزين للتطبيقات الموزعة. يسمح YARN بالتنفيذ المتزامن لأطر عمل معالجة متعددة على نفس مجموعة Hadoop.

📖

المصطلحات

أباتشي سكوب (Apache Sqoop)

أداة نقل بيانات ثنائية الاتجاه بين Hadoop وقواعد البيانات العلائقية، محسّنة للاستيراد/التصدير الضخم المتوازي. يقوم Sqoop تلقائيًا بإنشاء كود MapReduce اللازم لنقل البيانات بكفاءة.

📖

المصطلحات

أباتشي هايف (Apache Hive)

بنية مستودع بيانات مبنية على Hadoop توفر واجهة شبيهة بـ SQL (HQL) للاستعلام عن كميات كبيرة من البيانات المخزنة في HDFS. يترجم Hive الاستعلامات إلى مهام MapReduce للتنفيذ الدفعي.