🏠 Trang chủ
Benchmark
📊 Tất cả benchmark 🦖 Khủng long v1 🦖 Khủng long v2 ✅ Ứng dụng To-Do List 🎨 Trang tự do sáng tạo 🎯 FSACB - Trình diễn cuối cùng 🌍 Benchmark dịch thuật
Mô hình
🏆 Top 10 mô hình 🆓 Mô hình miễn phí 📋 Tất cả mô hình ⚙️ Kilo Code
Tài nguyên
💬 Thư viện prompt 📖 Thuật ngữ AI 🔗 Liên kết hữu ích
Avancé

Conception de Pipeline IoT vers Data Lake

#Cloud #Big Data #Architecture #Kafka

Architecture backend pour ingérer, traiter et stocker des flux de données massifs.

Agis en tant qu'architecte de données Cloud. Conçois l'architecture d'un pipeline capable d'ingérer 100 000 messages par seconde provenant de compteurs intelligents. La solution doit être déployée sur AWS. Définis le flux de données depuis le gateway IoT jusqu'au stockage froid (S3 Glacier). Inclut les composants suivants dans ta proposition : gestion du back-pressure (KMS ou Kinesis), processing stream pour le nettoyage des données en temps réel (Flink ou Spark Structured Streaming), et stratégie de partitionnement des données (parquet/avro) pour optimiser les coûts et les requêtes analytiques ultérieures.