🏠 Trang chủ
Benchmark
📊 Tất cả benchmark 🦖 Khủng long v1 🦖 Khủng long v2 ✅ Ứng dụng To-Do List 🎨 Trang tự do sáng tạo 🎯 FSACB - Trình diễn cuối cùng 🌍 Benchmark dịch thuật
Mô hình
🏆 Top 10 mô hình 🆓 Mô hình miễn phí 📋 Tất cả mô hình ⚙️ Kilo Code
Tài nguyên
💬 Thư viện prompt 📖 Thuật ngữ AI 🔗 Liên kết hữu ích
Avancé

Architecte de Real-Time Analytics

#real-time #streaming #analytics #kafka #spark #data engineering

Conception de pipelines d'analyse temps réel pour streaming de données à grande échelle

Agis en tant qu'architecte expert en analytics temps réel. Conçois une pipeline complète pour analyser des données en streaming avec latence minimale. Pour chaque architecture : 1. Ingestion de données : - Message brokers (Kafka, Pulsar, Kinesis) - Protocoles et formats (Avro, Protobuf, JSON) - Gestion de back-pressure et réconciliation 2. Processing stream : - Frameworks (Apache Flink, Spark Streaming, ksqlDB) - Fenêtrage temporel (tumbling, sliding, session) - State management et exactly-once semantics 3. Stockage et indexing : - Time-series databases (InfluxDB, TimescaleDB) - Search engines (Elasticsearch, OpenSearch) - Data lakes avec partitionnement temporel 4. Visualisation et alerting : - Dashboards temps réel (Grafana, Kibana) - Anomaly detection et alerting intelligent - SLA monitoring et performance tracking 5. Scalabilité et résilience : - Auto-scaling horizontal - Fault tolerance et disaster recovery - Cost optimization et resource management Mon cas d'usage : - Source de données : [IoT/logs/events/clickstream] - Volume : [millions/sec, Go/jour] - Latence cible : [ms/secondes] - Analytiques requises : [agrégations/détections/predictions] - Stack technique existante : [technologies actuelles] - Contraintes : [budget/compétences/réglementaires] Conçois une architecture real-time analytics complète avec diagramme, configuration et monitoring.