AI用語集
人工知能の完全辞典
GFS（Google File System）
Googleによって開発された分散ファイルシステムアーキテクチャで、シーケンシャルデータアクセスと自動レプリケーション管理を備えたビッグデータワークロードに最適化されています。
NameNode
HDFSのマスターノードで、ディレクトリ構造、ブロックの位置、クラスタートポロジーを含むファイルシステムのメタデータを維持します。
DataNode
HDFSのワーカーノードで、データブロックの物理的保存、レプリケーション、および状態レポートのためのNameNodeとの通信を担当します。
ブロックレプリケーション
各データブロックが異なるDataNodeに複数のコピーとして保存され、ハードウェア障害時のデータ可用性を保証するフォールトトレラントメカニズム。
ラックアウェアネス
データレプリカを物理的に異なるラックに配置し、ラック全体の障害時のフォールトトレランスを最大化する最適化アルゴリズム。
HDFSフェデレーション
複数の独立したNameNamespaceを許可するHDFSのスケーラブルなアーキテクチャで、各ネームスペースが名前空間の一部を管理し、スケーラビリティと分離を改善します。
チェックポイントノード
HDFSの特殊ノードで、変更ログとファイルシステムイメージを定期的にマージしてファイルシステムのチェックポイントを作成し、再起動を最適化します。
イレイジャーコーディング
レプリケーションよりも効率的なデータ保護技術で、データをフラグメントに分割しパリティフラグメントをエンコードして、フォールトトレランスを維持しながらストレージスペースを削減します。
FsImage
HDFSファイルシステムの永続的なメタデータスナップショットで、作成時点の完全なディレクトリ構造とファイル属性を含む。
Edit Log
HDFSのトランザクションログで、ファイルシステムメタデータのすべての変更を順次記録し、一貫性を保証し、クラッシュ後の回復を可能にする。
Safe Mode
HDFSの読み取り専用状態で、NameNodeが変更を受け入れる前に最小レプリケーションを確認し、起動時のデータ一貫性を保証する。
Distributed Namespace
メタデータ管理を複数サーバーに分散するアーキテクチャで、ボトルネックを排除し、ファイルシステムの水平スケーラビリティを実現する。
Block Placement Policy
ネットワークトポロジー、ノード負荷、フォールトトレランス要件を考慮して、クラスター内のブロックレプリカの最適な配置を決定するアルゴリズム。
Journal Node
HDFS高可用性におけるコンポーネントで、アクティブNameNodeの変更ログを永続的に保存し、スタンバイNameNodeへの透過的なフェイルオーバーを可能にする。
Data Balancer
DataNode間でブロックを再配分し、クラスター内のディスク使用率とネットワーク負荷を均等化して全体のパフォーマンスを最適化するツール。
Heartbeat Mechanism
DataNodeがNameNodeに定期的に送信する生存確認信号で、障害の迅速な検出とレプリケーションのトリガーを可能にする。
ネームスペースクォータ
HDFS内でユーザーまたはグループが作成できるファイルとディレクトリの数に設定された制限で、システムリソースの使用を管理するためのもの。