advanced
大规模数据去重算法设计
设计一个在内存受限环境下处理海量URL日志并查找重复项的高效算法。
📝 提示内容
请设计一个算法，用于在内存受限的单机环境中处理包含十亿条URL的日志文件，并快速找出其中的重复条目。要求详细说明选择的数据结构（如布隆过滤器、位图或外部排序）、哈希冲突的处理策略、以及如何优化磁盘I/O以减少时间复杂度。请提供Python伪代码实现。