AI 詞彙表
人工智能完整詞典
Apache Samza
Framework de traitement de flux distribué construit sur Apache Kafka et YARN, spécialisé dans le traitement par micro-batch avec gestion d'état.
Kafka Streams
Bibliothèque cliente pour construire des applications et des microservices de traitement de flux, où la logique de traitement est directement intégrée dans votre application.
Dataflow Model
Modèle de programmation où les calculs sont représentés comme un graphe de transformations appliquées à des collections de données, souvent immuables.
Operator State
État local à une instance d'opérateur dans un système de flux, non partitionné par clé et essentiel pour la tolérance aux pannes et le redémarrage.
Keyed State
État partitionné et géré par un système de traitement de flux, où chaque clé logique du flux possède son propre état isolé.
Watermark
Mécanisme de suivi du temps dans les systèmes de traitement de flux, indiquant jusqu'à quel point dans le temps les données sont considérées comme complètes.
Event Time
Horodatage intrinsèque d'un événement, déterminé au moment de sa création, utilisé pour un traitement précis indépendamment du moment de son traitement.
Processing Time
Horodatage basé sur l'heure de la machine qui traite un événement, reflétant le moment où l'événement est observé par le système.
Source Connector
Composant responsable de l'ingestion de données depuis un système externe (comme une base de données ou un message broker) dans un système de traitement de flux.
Sink Connector
Composant chargé d'exporter les résultats traités d'un système de flux vers un système de stockage ou une autre application externe.
Stream-Table Duality
Concept fondamental où un flux de données peut être vu comme une table qui évolue dans le temps, et une table comme le résultat de l'agrégation d'un flux.
CEP (Complex Event Processing)
Méthodologie de traitement de flux visant à identifier des schémas d'événements significatifs et complexes à partir de multiples flux de données simples.
Changelog
Flux d'enregistrements qui capture toutes les modifications (insertions, mises à jour, suppressions) apportées à une table, essentiel pour la réplication et la récupération d'état.