AI用語集

📖

用語

遅延評価

アクションがトリガーされた場合にのみ変換が実行される戦略で、実行プランのグローバルな最適化を可能にします。

📖

用語

ブロードキャスト変数

分散操作時の繰り返しデータ転送を避けるため、すべてのノードに効率的に配布される読み取り専用変数です。

📖

用語

アキュムレータ

結合的・可換的演算によってのみ追加可能な共有変数で、情報の並列集約に使用されます。

📖

用語

ステージ

シャッフルなしで実行可能な変換のセットで、SparkジョブのDAGにおける実行フェーズを表します。

📖

用語

ドライバ

分散タスクの実行を調整し、DAGを作成し、Sparkアプリケーションでエグゼキュータをオーケストレーションするメインプロセスです。

📖

用語

エグゼキュータ

クラスターノードでタスクを実行し、ドライバによって割り当てられたデータパーティションと計算操作を管理するワーカープロセスです。

📖

用語

シリアライゼーション

オブジェクトをバイナリ形式に変換するプロセスで、ストレージまたはネットワーク転送に使用され、分散システムのパフォーマンスに重要です。

📖

用語

コンテナ

特定のタスクの実行に必要なCPU、メモリ、その他のリソースをカプセル化するYARNリソース割り当て単位です。

📖

用語

パイプライン

あるステップの出力が直接次のステップの入力に供給される接続された処理の連鎖で、Spark Streamingでデータフローを最適化するもの。