Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
GFS (Google File System)
Architecture de système de fichiers distribué développée par Google, optimisée pour les charges de travail Big Data avec des accès séquentiels aux données et une gestion automatique de la réplication.
NameNode
Nœud maître dans HDFS qui maintient les métadonnées du système de fichiers, incluant la structure des répertoires, l'emplacement des blocs et la topologie du cluster.
DataNode
Nœud worker dans HDFS responsable du stockage physique des blocs de données, de leur réplication et de la communication avec le NameNode pour les rapports d'état.
Block Replication
Mécanisme de tolérance aux pannes où chaque bloc de données est stocké en plusieurs copies sur différents DataNodes pour garantir la disponibilité des données en cas de défaillance matérielle.
Rack Awareness
Optimization algorithmique qui place les répliques de données sur différents racks physiques pour maximiser la tolérance aux pannes en cas de défaillance d'un rack entier.
HDFS Federation
Architecture évolutive de HDFS permettant plusieurs NameNamespaces indépendants, chacun gérant une portion de l'espace de noms pour améliorer l'évolutivité et l'isolation.
Checkpoint Node
Nœud spécialisé dans HDFS qui crée périodiquement des points de contrôle du système de fichiers en fusionnant le journal des modifications avec l'image du système de fichiers pour optimiser le redémarrage.
Erasure Coding
Technique de protection des données plus efficace que la réplication, divisant les données en fragments et encodant des fragments de parité pour réduire l'espace de stockage tout en maintenant la tolérance aux pannes.
FsImage
Snapshot persistant des métadonnées du système de fichiers HDFS, contenant la structure complète des répertoires et les attributs des fichiers au moment de sa création.
Edit Log
Journal transactionnel en HDFS qui enregistre séquentiellement toutes les modifications des métadonnées du système de fichiers pour garantir la cohérence et permettre la récupération après crash.
Safe Mode
État de lecture seule de HDFS pendant lequel le NameNode vérifie la réplication minimale des blocs avant d'accepter les modifications, assurant la cohérence des données au démarrage.
Distributed Namespace
Architecture où la gestion des métadonnées est répartie sur plusieurs serveurs pour éliminer les goulots d'étranglement et permettre une évolutivité horizontale du système de fichiers.
Block Placement Policy
Algorithme déterminant l'emplacement optimal des répliques de blocs dans le cluster en considérant la topologie réseau, la charge des nœuds et les exigences de tolérance aux pannes.
Journal Node
Composant dans HDFS High Availability qui stocke de manière persistante les journaux de modifications du NameNode actif pour permettre un basculement transparent vers le NameNode de secours.
Data Balancer
Outil qui redistribue les blocs entre les DataNodes pour équilibrer l'utilisation de l'espace disque et la charge réseau dans le cluster, optimisant les performances globales.
Heartbeat Mechanism
Signal périodique envoyé par les DataNodes au NameNode pour confirmer leur état de fonctionnement, permettant la détection rapide des défaillances et le déclenchement de la réplication.
Namespace Quota
Limite configurée sur le nombre de fichiers et de répertoires qu'un utilisateur ou un groupe peut créer dans HDFS pour contrôler l'utilisation des ressources système.