🏠 Home
Benchmark Hub
📊 All Benchmarks 🦖 Dinosaur v1 🦖 Dinosaur v2 ✅ To-Do List Applications 🎨 Creative Free Pages 🎯 FSACB - Ultimate Showcase 🌍 Translation Benchmark
Models
🏆 Top 10 Models 🆓 Free Models 📋 All Models ⚙️ Kilo Code
Resources
💬 Prompts Library 📖 AI Glossary 🔗 Useful Links
Avancé

Conception de Pipeline IoT vers Data Lake

#Cloud #Big Data #Architecture #Kafka

Architecture backend pour ingérer, traiter et stocker des flux de données massifs.

Agis en tant qu'architecte de données Cloud. Conçois l'architecture d'un pipeline capable d'ingérer 100 000 messages par seconde provenant de compteurs intelligents. La solution doit être déployée sur AWS. Définis le flux de données depuis le gateway IoT jusqu'au stockage froid (S3 Glacier). Inclut les composants suivants dans ta proposition : gestion du back-pressure (KMS ou Kinesis), processing stream pour le nettoyage des données en temps réel (Flink ou Spark Structured Streaming), et stratégie de partitionnement des données (parquet/avro) pour optimiser les coûts et les requêtes analytiques ultérieures.