Avancé
Optimisation des Coûts et Performances de Logs
Audit et refactoring d'une pile de gestion de logs saturée par le volume.
📝 프롬프트 내용
Notre cluster Elasticsearch est saturé (Hot nodes) et les coûts de stockage AWS S3 explosent. Le volume de logs est de 2To/jour.
1. Analyse les goulots d'étranglement potentiels dans le pipeline d'ingestion (Filebeat -> Logstash -> ES).
2. Propose une stratégie de 'Log Structuring' pour migrer de logs texte brut à du JSON structuré afin d'améliorer l'indexation.
3. Définis une politique de 'Index Lifecycle Management (ILM)' pour déplacer les données des nodes Hot vers Warm puis Frozen, et définir une durée de rétention par type de log (Access vs Application).
4. Suggère l'implémentation d'un mécanisme de sampling côté agent pour les logs DEBUG/INFO en environnement de production.