AI Glossary
The complete dictionary of Artificial Intelligence
Lazy Evaluation
Stratégie où les transformations ne sont exécutées que lorsqu'une action est déclenchée, permettant des optimisations globales du plan d'exécution.
Broadcast Variables
Variables en lecture seule distribuées efficacement à tous les nœuds pour éviter les transferts répétitifs de données lors des opérations distribuées.
Accumulators
Variables partagées qui ne peuvent être ajoutées que par des opérations associatives et commutatives, utilisées pour l'agrégation parallèle d'informations.
Stage
Ensemble de transformations pouvant être exécutées sans shuffle, représentant une phase d'exécution dans le DAG des jobs Spark.
Driver
Processus principal coordonnant l'exécution des tâches distribuées, créant le DAG et orchestrant les exécuteurs dans les applications Spark.
Executor
Processus worker exécutant les tâches sur les nœuds du cluster, gérant les partitions de données et les opérations de calcul assignées par le driver.
Serialization
Processus de conversion des objets en format binaire pour le stockage ou le transfert réseau, critique pour la performance des systèmes distribués.
Container
Unité d'allocation de ressources YARN encapsulant CPU, mémoire et autres ressources nécessaires à l'exécution d'une tâche spécifique.
Pipeline
Chaîne de traitements connectés où la sortie d'une étape alimente directement l'entrée de la suivante, optimisant le flux de données dans Spark Streaming.