100亿个URL找相同
2020-08-21 18:42:21 0 举报
算法之100亿个URL找相同
作者其他创作
大纲/内容
思路：1、分治，hash分组；2、HashSet找相同。
a2500万个URL约320M
HashSetai中的URL
b2500万个URL约320M
a0500万个URL约320M
hash(URL)%1000
b999500万个URL约320M
a999500万个URL约320M
a1500万个URL约320M
查找命中
b0500万个URL约320M
......
存放
题目：给定 A、B 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 A、B 两个文件共同的 URL。
B50亿个URL约32G
查找
A50亿个URL约32G
100亿个URL找相同
b1500万个URL约320M
相同的URL
0 条评论
回复 删除
下一页
