哈希切割
- 给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？
思路 :
1 . 使用哈希切割 , 将100G大小的文件分成1000分小文件 ,
2 . 使用 HashStr( IP )%1000 将每个文件上的IP地址映射到哈希表中 , 然后将IP地址转化成整数形式
3 . 使用Key Value 模型 , 将IP地址出现的次数保存起来
4 . 将每个小文件中IP地址出现的次数进行比较 , 找出出现次数最多的IP地址
2.与上题条件相同， 如何找到topK的IP？
思路 :
相当于在1000个小文件里边寻找top K个IP , 去K个IP地址建立一个小堆 , 若果大于堆顶元素则则覆盖堆顶元素 , 若果小于堆顶元素则不处理 , 最后堆里边的元素就是top K个IP
位图应用
- 给定1000亿个整型，设计算法找到只出现一次的整数？
用bitmap表示数据，bitmap中每两位代表一个整数，00代表该整型未出现过，01代表出现过1次，11代表出现超过1次。最后只需输出01对应的整型即可。（优点：节省内存）
- 给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件的交集？
使用hash函数将第一个文件的所有整数映射到1000个文件中，每个文件有1000万个整数，大约40M内存
内存可以放下，把1000个文件记为 a1,a2,a3…a1000,用同样的hash函数映射第二个文件到1000个文件中，这1000个文件记为b1,b2,b3…b1000，由于使用的是相同的hash函数，所以两个文件中一样的数字会被分配到文件下标一致的文件中，分别对a1和b1求交集，a2和b2求交集，ai和bi求交集，最后将结果汇总，即为两个文件的交集
- 位图应用变形：1个文件有100亿个int，1G内存，设计算法找到出现次数不超过2次的所有整数
思路 : 使用两个位图 , 也是应用其组成的四个状态 , 没有出现 ( 0 0 ) , 出现了一次 ( 0 1 ) , 出现两次 ( 1 0 ) , 三次及三以上 ( 1 1 ) 当存放一个元素时 , 只要找出该元素在两个位图中状态不是 ( 1 1 )的时候 , 便可得到文件中出现次数不超过2次的所有整数
布隆过滤器
- 给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集？分别给出精确算法和 近似算法
精确算法 : 使用哈希切割的思想
1024字节=1kb
1024kb = 1mb
一个query大约有20bytes , 那么100亿个query大约有200G内存 , 我们将200G内存分成1000份 , 每份大约200Mb
将两个文件划分为1000分小文件 , 求出每个小文件的交集 , 然后再整合成出所有的交集
近似算法 : 使用布隆过滤器 , 将一个文件中的元素全部映射到位图中 , 然后用取第二个文件进行一次比较 , 找出交集部分 , 但是该方法得出来的交集存在着不准确性 , 有可能不相同的元素映射的相同的位
- 如何扩展BloomFilter使得它支持删除元素的操作？
布隆的删除和计数可归为一类问题，原本布隆是一个元素映射到多个位置上，这个位置上的值是一个Key,现在将其改为数据存在的个数，每当映射到相同的位置，该位置上的数进行加1，最后每个位置上的值表示出现某一元素映射到该位的次数（引用计数）
