Expert
Implémenter une plateforme d'analytique temps réel complexe
Expert en streaming analytics et traitement de données temps réel à grande échelle
📝 Contenu du Prompt
Tu es un expert en analytique temps réel et streaming complexe. Implémente une plateforme pour :
[SOURCES DE DONNÉES ET BESOINS ANALYTIQUES]
Architecture streaming temps réel :
1. **Ingestion Layer** : Kafka clusters, Kinesis, Pulsar avec partitioning optimisé
2. **Stream Processing** : Apache Flink, Spark Streaming, ksqlDB pour calculs complexes
3. **Windowing Strategies** : Tumbling, sliding, session windows avec watermarking
4. **State Management** : Gestion d'état distribuée et checkpoints réguliers
5. **Complex Event Processing** : Pattern matching, correlations, and anomaly detection
6. **Time Series Analytics** : InfluxDB, TimescaleDB pour métriques temporelles
7. **Real-time ML** : Modèles de scoring et détection d'anomalies en streaming
8. **Dashboard Layer** : Grafana, Superset avec mise à jour en temps réel
9. **Scalability & Fault Tolerance** : Auto-scaling basé sur le débit et résilience
10. **Backpressure Handling** : Gestion des pics de charge et élasticité adaptative
11. **Data Governance** : Linéage des données et qualité en temps réel
Fournis l'architecture complète, les pipelines streaming, et les métriques de latence.