Глоссарий ИИ
Полный словарь искусственного интеллекта
GFS (Google File System)
Архитектура распределенной файловой системы, разработанная Google, оптимизированная для рабочих нагрузок Big Data с последовательным доступом к данным и автоматическим управлением репликацией.
NameNode
Главный узел в HDFS, который поддерживает метаданные файловой системы, включая структуру каталогов, расположение блоков и топологию кластера.
DataNode
Рабочий узел в HDFS, отвечающий за физическое хранение блоков данных, их репликацию и связь с NameNode для отчетов о состоянии.
Block Replication
Механизм отказоустойчивости, при котором каждый блок данных хранится в нескольких копиях на разных DataNodes для гарантии доступности данных в случае аппаратного сбоя.
Rack Awareness
Алгоритмическая оптимизация, которая размещает реплики данных на разных физических стойках для максимизации отказоустойчивости в случае отказа всей стойки.
HDFS Federation
Масштабируемая архитектура HDFS, позволяющая использовать несколько независимых пространств имен NameNode, каждый из которых управляет частью пространства имен для улучшения масштабируемости и изоляции.
Checkpoint Node
Специализированный узел в HDFS, который периодически создает контрольные точки файловой системы, объединяя журнал изменений с образом файловой системы для оптимизации перезапуска.
Erasure Coding
Техника защиты данных, более эффективная чем репликация, разделяющая данные на фрагменты и кодирующая фрагменты четности для уменьшения пространства хранения при сохранении отказоустойчивости.
FsImage
Постоянный снимок метаданных файловой системы HDFS, содержащий полную структуру каталогов и атрибуты файлов на момент его создания.
Edit Log
Транзакционный журнал в HDFS, который последовательно записывает все изменения метаданных файловой системы для обеспечения согласованности и восстановления после сбоев.
Safe Mode
Режим только для чтения в HDFS, в котором NameNode проверяет минимальную репликацию блоков перед принятием изменений, обеспечивая целостность данных при запуске.
Distributed Namespace
Архитектура, в которой управление метаданными распределено между несколькими серверами для устранения узких мест и обеспечения горизонтальной масштабируемости файловой системы.
Block Placement Policy
Алгоритм, определяющий оптимальное расположение реплик блоков в кластере с учетом сетевой топологии, нагрузки узлов и требований отказоустойчивости.
Journal Node
Компонент в HDFS High Availability, который постоянно хранит журналы изменений активного NameNode для обеспечения прозрачного перехода на резервный NameNode.
Data Balancer
Инструмент, который перераспределяет блоки между DataNodes для балансировки использования дискового пространства и сетевой нагрузки в кластере, оптимизируя общую производительность.
Heartbeat Mechanism
Периодический сигнал, отправляемый DataNodes на NameNode для подтверждения их работоспособности, позволяющий быстро обнаруживать сбои и запускать репликацию.
Квота пространства имен
Настроенное ограничение на количество файлов и каталогов, которые пользователь или группа могут создать в HDFS для контроля использования системных ресурсов.