AI用語集
人工知能の完全辞典
Apache Airflow
Airbnbによって開発されたオープンソースのワークフロー・オーケストレーションプラットフォームで、DAG（有向非巡回グラフ）を介して複雑なデータパイプラインを定義、スケジュール、監視することができます。
Apache Oozie
Hadoopエコシステム用に特化したワークフローシステムで、時間的および条件付きの依存関係管理を備え、MapReduce、Pig、Hive、HDFSのジョブをオーケストレーションできます。
Luigi
Spotifyによって開発されたオープンソースのPythonフレームワークで、複雑なデータパイプラインを構築するための依存関係管理、タスクの可視化、Hadoopとのネイティブ統合を提供します。
Apache NiFi
自動化された安全なデータフロープラットフォームで、システム間のデータの転送、変換、ルーティングを可能にし、リアルタイムのパイプライン設計用ビジュアルインターフェースを備えています。
Kubeflow
Kubernetes上で機械学習ワークフローをデプロイ・管理するためのオープンソースツールキットで、実験のバージョニングとトラッキングを備えた複雑なMLパイプラインをオーケストレーションします。
Prefect
最新のPythonワークフローオーケストレーションエンジンで、動的フロー管理、ネイティブ監視可能性、クラウド/オンプレミスハイブリッド実行サポートを提供する耐障害性を備えています。
Dagster
アセット中心のデータオーケストレーションプラットフォームで、宣言的パイプライン開発、単体テスト、モジュラー構造を備えたデータライフサイクル管理を提供します。
Azkaban
LinkedInによって開発されたオープンソースのバッチワークフローシステムで、シンプルなWebインターフェースと時間的依存関係管理を備え、Hadoopジョブのスケジューリングに特化しています。
Apache Storm
リアルタイム分散ストリーム処理システム。ミリ秒単位の遅延と正確に1回の処理保証で、無制限の処理トポロジをオーケストレーションできます。
Apache Beam
バッチおよびストリーミングパイプライン用の統一プログラミングモデル。複数のランナー（Apache Flink、Spark、Dataflow）で実行できるポータブルなワークフローを作成できます。