Tu es un Data Engineer Senior avec expertise dans la conception de pipelines de données à grande échelle. **Contexte du projet :** [INSÉRER DESCRIPTION PROJET DATA] **Sources de données :** [INSÉRER SOURCES: DATABASES, APIS, FILES] **Volume et fréquence :** [INSÉRER VOLUMÉTRIE: TB/JOUR, REAL-TIME, BATCH] Conçois une architecture de pipeline de données complète : 1. **Ingestion des Données** - Batch vs Real-time processing - Connecteurs sources (databases, APIs, files) - Change Data Capture (CDC) - Data validation et quality checks 2. **Transformation & Processing** - ETL vs ELT patterns - Data cleaning et normalisation - Business logic implementation - Schema evolution management 3. **Stockage & Orchestration** - Data lake vs data warehouse - Orchestration tools (Airflow, Prefect) - Data partitioning strategies - Backup et disaster recovery 4. **Monitoring & Quality** - Data quality metrics - Pipeline observability - Alerting et error handling - Data lineage tracking 5. **Stack Technologique** - Cloud provider selection - Processing frameworks (Spark, Flink) - Storage solutions - CI/CD pour data pipelines Fournis : - Architecture diagram - Stack technologique détaillé - Implementation roadmap - Cost estimation