एआई शब्दावली

📖

शब्द

Lazy Evaluation

Stratégie où les transformations ne sont exécutées que lorsqu'une action est déclenchée, permettant des optimisations globales du plan d'exécution.

📖

शब्द

Broadcast Variables

Variables en lecture seule distribuées efficacement à tous les nœuds pour éviter les transferts répétitifs de données lors des opérations distribuées.

📖

शब्द

Accumulators

Variables partagées qui ne peuvent être ajoutées que par des opérations associatives et commutatives, utilisées pour l'agrégation parallèle d'informations.

📖

शब्द

Stage

Ensemble de transformations pouvant être exécutées sans shuffle, représentant une phase d'exécution dans le DAG des jobs Spark.

📖

शब्द

Driver

Processus principal coordonnant l'exécution des tâches distribuées, créant le DAG et orchestrant les exécuteurs dans les applications Spark.

📖

शब्द

Executor

Processus worker exécutant les tâches sur les nœuds du cluster, gérant les partitions de données et les opérations de calcul assignées par le driver.

📖

शब्द

Serialization

Processus de conversion des objets en format binaire pour le stockage ou le transfert réseau, critique pour la performance des systèmes distribués.

📖

शब्द

Container

Unité d'allocation de ressources YARN encapsulant CPU, mémoire et autres ressources nécessaires à l'exécution d'une tâche spécifique.

📖

शब्द

Pipeline

Chaîne de traitements connectés où la sortie d'une étape alimente directement l'entrée de la suivante, optimisant le flux de données dans Spark Streaming.