एआई शब्दावली

📖

शब्द

Apache Hadoop MapReduce

Modèle de programmation et implémentation distribuée pour le traitement de grands ensembles de données sur des clusters, divisant les traitements en phases Map et Reduce. MapReduce est l'un des premiers frameworks populaires pour le traitement batch à grande échelle.

📖

शब्द

ETL (Extract, Transform, Load)

Processus d'intégration de données consistant à extraire des données de sources hétérogènes, les transformer selon les règles métier définies, puis les charger dans un système cible. Les pipelines ETL sont généralement exécutés en batch pour synchroniser les données.

📖

शब्द

Job Scheduling

Mécanisme d'ordonnancement automatique des tâches de traitement par lots selon des calendriers prédéfinis, des dépendances ou des déclencheurs événementiels. Les ordonnanceurs modernes gèrent la parallélisation, les retentatives et la surveillance des exécutions.

📖

शब्द

Shuffling

Opération coûteuse de redistribution des données entre les nœuds du cluster lors des phases de regroupement ou d'agrégation dans les traitements distribués. Le shuffling représente souvent le goulot d'étranglement principal dans les jobs MapReduce et Spark.

📖

शब्द

HDFS

Système de fichiers distribué conçu pour stocker des fichiers volumineux sur des machines standards avec tolérance aux pannes par réplication. HDFS fournit un accès séquentiel haute performance adapté aux traitements batch par MapReduce.

📖

शब्द

YARN

Orchestrateur de ressources pour l'écosystème Hadoop, responsable de l'allocation de CPU, mémoire et stockage aux applications distribuées. YARN permet l'exécution concurrente de multiples frameworks de traitement sur un même cluster Hadoop.

📖

शब्द

Apache Sqoop

Outil de transfert de données bidirectionnel entre Hadoop et bases de données relationnelles, optimisé pour les imports/exports massifs en parallèle. Sqoop génère automatiquement le code MapReduce nécessaire pour déplacer efficacement les données.

📖

शब्द

Apache Hive

Infrastructure d'entreposage de données construite sur Hadoop fournissant une interface SQL-like (HQL) pour l'interrogation de grandes volumes de données stockées dans HDFS. Hive traduit les requêtes en jobs MapReduce pour l'exécution batch.