Glossário IA
O dicionário completo da Inteligência Artificial
Apache Kafka
Plataforma de streaming distribuída de código aberto projetada para lidar com fluxos de dados em tempo real com alta throughput e baixa latência, usada como broker de mensagens e sistema de armazenamento de logs.
Apache Flink
Framework de processamento de fluxo e batch distribuído que oferece capacidades de processamento de eventos complexos com gerenciamento de estado e semântica exactly-once para aplicações em tempo real.
Windowing
Técnica fundamental do processamento de fluxo que divide o fluxo contínuo de dados em janelas temporais ou baseadas em contagem para realizar agregações e análises em subconjuntos de dados.
Backpressure
Mecanismo de controle de fluxo que permite aos sistemas de processamento regular a velocidade dos produtores de dados quando os consumidores não conseguem acompanhar o ritmo, prevenindo assim a saturação do sistema.
Watermark
Marcador temporal incorporado no fluxo de dados que permite acompanhar o progresso do tempo de evento e gerenciar dados tardios em sistemas de processamento de fluxo.
Stateful Processing
Paradigma de processamento onde as operações mantêm um estado persistente entre os eventos, essencial para agregações, junções e detecções de padrões complexos em fluxos de dados.
Exactly-Once Semantics
Garantia de processamento que assegura que cada evento do fluxo é processado precisamente uma única vez, mesmo em caso de falhas, combinando entrega at-least-once com deduplicação no lado do consumidor.
CEP (Complex Event Processing)
Tecnologia de processamento de eventos que identifica padrões significativos e correlações complexas a partir de múltiplos fluxos de eventos em tempo real para acionar ações imediatas.
Micro-batching
Abordagem híbrida que processa fluxos de dados coletando micro-lotes de eventos em intervalos curtos, combinando as vantagens do processamento em lote e do processamento puramente orientado a eventos.
Event Sourcing
Padrão arquitetural onde todas as modificações de estado são registradas como uma sequência imutável de eventos, permitindo a reconstrução de estados passados e a auditoria completa do sistema.
Apache Storm
Sistema de processamento de fluxo distribuído em tempo real projetado para latências extremamente baixas, usando uma topologia de spouts e bolts para transformar e analisar fluxos de dados.
Change Data Capture (CDC)
Técnica que captura e propaga modificações de dados de bancos de dados transacionais para sistemas de streaming em tempo real, permitindo sincronização e análise contínua.
Event Time vs Processing Time
Dois conceitos temporais fundamentais onde o tempo do evento corresponde ao momento em que o evento ocorreu, enquanto o tempo de processamento é o momento em que é processado pelo sistema.
Stream Analytics
Disciplina que aplica técnicas analíticas avançadas em fluxos de dados contínuos para extrair insights, detectar anomalias e tomar decisões em tempo real.
Data Pipeline Streaming
Arquitetura de pipeline de dados projetada especificamente para processamento contínuo onde os dados transitam através de múltiplas etapas de transformação e enriquecimento sem armazenamento intermediário.
Message Queue
Componente de middleware que garante comunicação assíncrona entre produtores e consumidores de mensagens, assegurando a entrega confiável de eventos em arquiteturas distribuídas.
ETL em Tempo Real
Processo de extração, transformação e carregamento de dados que é executado continuamente em fluxos em tempo real, ao contrário do ETL tradicional em lotes que é executado periodicamente.
Apache Beam
Framework unificado de processamento de dados em lote e em fluxo que fornece um modelo de programação abstrato que pode ser executado em múltiplos runners como Flink, Spark ou Dataflow.