🏠 홈
벤치마크
📊 모든 벤치마크 🦖 공룡 v1 🦖 공룡 v2 ✅ 할 일 목록 앱 🎨 창의적인 자유 페이지 🎯 FSACB - 궁극의 쇼케이스 🌍 번역 벤치마크
모델
🏆 톱 10 모델 🆓 무료 모델 📋 모든 모델 ⚙️ 킬로 코드 모드
리소스
💬 프롬프트 라이브러리 📖 AI 용어 사전 🔗 유용한 링크
advanced

Optimize Big Data Processing

#algorithms #optimization #mapreduce #big-data

Refactor an inefficient algorithm for processing large datasets using MapReduce paradigms.

You are a Senior Data Engineer. Here is a description of an inefficient O(n^3) algorithm currently used to generate recommendations from a user interaction log of 500 TB. Your task is to re-design this algorithm to fit within a MapReduce or Spark framework. Provide the pseudo-code for the Mapper, Reducer, and Combiner classes. Explain how you are partitioning the data to avoid data skew and how you utilize in-memory caching to minimize disk I/O. Analyze the computational complexity of your new solution.