advanced
대규모 데이터 처리를 위한 파이썬 메모리 최적화
수천만 개의 레코드를 처리할 때 메모리 부족 오류를 방지하기 위해 제너레이터와 메모리 뷰를 활용하여 데이터 처리 파이프라인을 재설계하십시오.
📝 提示内容
제공된 CSV 데이터 세트(가상의 1억 행)를 효율적으로 처리하여 통계치를 계산하는 함수를 작성하세요. Pandas를 사용하지 않고 내장 모듈만을 사용하되, 메모리 사용량을 최소화하기 위해 `yield` 키워드를 활용한 제너레이터 패턴과 `itertools` 모듈을 적극 활용해야 합니다. 또한, 메모리 효율성을 높이기 위해 `__slots__`를 사용한 사용자 정의 클래스 구조도 제안하십시오.