Glossário IA
O dicionário completo da Inteligência Artificial
Apache Airflow
Plataforma de orquestração de workflows open-source desenvolvida pelo Airbnb, permitindo definir, agendar e monitorar pipelines de dados complexos através de DAGs (Directed Acyclic Graphs).
Apache Oozie
Sistema de workflow especializado para o ecossistema Hadoop, permitindo a orquestração de jobs MapReduce, Pig, Hive e HDFS com gestão de dependências temporárias e condicionais.
Luigi
Framework Python open-source desenvolvido pelo Spotify para construir pipelines de dados complexos com gestão de dependências, visualização de tarefas e integração nativa com Hadoop.
Apache NiFi
Plataforma de fluxo de dados automatizada e segura que permite o transporte, transformação e roteamento de dados entre sistemas com interface visual para design de pipelines em tempo real.
Kubeflow
Toolkit open-source para implantar e gerenciar workflows de machine learning no Kubernetes, orquestrando pipelines de ML complexos com versionamento e rastreamento de experimentos.
Prefect
Motor de orquestração de workflows Python moderno que oferece gestão dinâmica de fluxos, observabilidade nativa e resiliência com suporte para execução híbrida cloud/on-premise.
Dagster
Plataforma de orquestração de dados focada em ativos, fornecendo desenvolvimento de pipelines declarativos, testes unitários e gestão do ciclo de vida dos dados com arquitetura modular.
Azkaban
Sistema de workflow batch open-source desenvolvido pelo LinkedIn, especializado no agendamento de jobs Hadoop com interface web simples e gestão de dependências temporais.
Apache Storm
Sistema distribuído de processamento de fluxo em tempo real, capaz de orquestrar topologias de processamento ilimitadas com latência de milissegundos e garantia de processamento exactly-once.
Apache Beam
Modelo de programação unificado para pipelines batch e streaming, permitindo a escrita de workflows portáteis em múltiplos runners (Apache Flink, Spark, Dataflow).