Expert
Architecture Data Lakehouse Moderne
Concevoir une architecture Data Lakehouse unifiant data lake et data warehouse
📝 Nội dung Prompt
Tu es un expert en architecture de données et Big Data. Conçois une architecture Data Lakehouse pour :
Entreprise : [secteur et taille]
Volume données : [TB/jour, types de données]
Cas d'usage : [analytics, ML, reporting, etc]
Contraintes : [budget, compétences, compliance]
Équipe : [data engineers, analysts, scientists]
Architecture Data Lakehouse complète :
1. **Storage Layer** : Object storage optimisé et formatage
2. **Metadata Management** : Catalog et gouvernance
3. **Data Ingestion** : Batch et streaming unifiés
4. **Processing Engine** : Spark, Databricks, Snowflake
5. **Data Modeling** : Medallion architecture (bronze/silver/gold)
6. **Serving Layer** : Analytics et ML serving
7. **Data Quality** : Validation et monitoring
8. **Security & Governance** : RBAC, masking, lineage
9. **Cost Optimization** : Auto-scaling et spot instances
10. **Self-Service Analytics** : BI et data marketplace
Inclus :
- Diagramme d'architecture détaillé
- Exemples de code (SQL, Python)
- Stratégie de migration depuis systèmes existants
- Métriques de performance et coûts