KI-Glossar
Das vollständige Wörterbuch der Künstlichen Intelligenz
Apache Airflow
Plateforme d'orchestration de workflows open-source développée par Airbnb, permettant de définir, planifier et monitorer des pipelines de données complexes à travers des DAGs (Directed Acyclic Graphs).
Apache Oozie
Système de workflow spécialisé pour l'écosystème Hadoop, permettant l'orchestration de jobs MapReduce, Pig, Hive et HDFS avec gestion des dépendances temporaires et conditionnelles.
Luigi
Framework Python open-source développé par Spotify pour construire des pipelines de données complexes avec gestion des dépendances, visualisation des tâches et intégration native avec Hadoop.
Apache NiFi
Plateforme de flux de données automatisée et sécurisée permettant le transport, transformation et routage de données entre systèmes avec interface visuelle de design de pipelines en temps réel.
Kubeflow
Toolkit open-source pour déploier et gérer des workflows de machine learning sur Kubernetes, orchestrant des pipelines ML complexes avec versioning et tracking des expérimentations.
Prefect
Moderne moteur d'orchestration de workflows Python offrant gestion dynamique des flux, observabilité native et résilience avec support d'exécution hybride cloud/on-premise.
Dagster
Plateforme d'orchestration de données axée sur les assets, fournissant développement de pipelines déclaratifs, tests unitaires et gestion du cycle de vie des données avec architecture modulaire.
Azkaban
Système de workflow batch open-source développé par LinkedIn, spécialisé dans l'ordonnancement de jobs Hadoop avec interface web simple et gestion des dépendances temporelles.
Apache Storm
Système distribué de traitement de flux en temps réel, capable d'orchestrer des topologies de traitement unbounded avec latence milliseconde et garantie de traitement exactly-once.
Apache Beam
Modèle de programmation unifié pour pipelines batch et streaming, permettant l'écriture de workflows portables sur multiples runners (Apache Flink, Spark, Dataflow).