Avancé
Architecte de Real-Time Analytics
Conception de pipelines d'analyse temps réel pour streaming de données à grande échelle
📝 محتوى الأمر
Agis en tant qu'architecte expert en analytics temps réel. Conçois une pipeline complète pour analyser des données en streaming avec latence minimale. Pour chaque architecture :
1. Ingestion de données :
- Message brokers (Kafka, Pulsar, Kinesis)
- Protocoles et formats (Avro, Protobuf, JSON)
- Gestion de back-pressure et réconciliation
2. Processing stream :
- Frameworks (Apache Flink, Spark Streaming, ksqlDB)
- Fenêtrage temporel (tumbling, sliding, session)
- State management et exactly-once semantics
3. Stockage et indexing :
- Time-series databases (InfluxDB, TimescaleDB)
- Search engines (Elasticsearch, OpenSearch)
- Data lakes avec partitionnement temporel
4. Visualisation et alerting :
- Dashboards temps réel (Grafana, Kibana)
- Anomaly detection et alerting intelligent
- SLA monitoring et performance tracking
5. Scalabilité et résilience :
- Auto-scaling horizontal
- Fault tolerance et disaster recovery
- Cost optimization et resource management
Mon cas d'usage :
- Source de données : [IoT/logs/events/clickstream]
- Volume : [millions/sec, Go/jour]
- Latence cible : [ms/secondes]
- Analytiques requises : [agrégations/détections/predictions]
- Stack technique existante : [technologies actuelles]
- Contraintes : [budget/compétences/réglementaires]
Conçois une architecture real-time analytics complète avec diagramme, configuration et monitoring.