Bloom filter是由 Howard Bloom在 1970 年提出的一种多哈希函数映射的快速查找算法，该算法能够在非常快速的判定某个元素是否在一个集合之外。这种检测只会对在集合内的数据错判，而不会对不是集合内的数据进行错判，这样每个检测请求返回有“在集合内（可能错误）”和“不在集合内（绝对不在集合内）”两种情况。目前Bloom filter在
pig的介绍，网上搜索，或者去官网查询。 准备： pig：http://pig.apache.org/releases.html#Download 我这里用的pig0.10需要 hadoop 0.20.X 及以上版本。你可以在下载的页面看到具体的版本所需要的hadoop版本。 安装： 解
snappy也是一个开源的高效压缩和解压框架。具体介绍，这里不再赘述，可以去官网查询。 安装所需软件：gcc、g++、snappy包、hadoop-snappy源码包、maven. gcc在ubuntu上已经安装，如果未安装，包括g++,maven,可以通过以下命令安装 sudo apt-get install gcc&nbs
lzop是开源的压缩算法框架。具体的介绍这里不再赘述，请去网上搜索。本文书写如何在ubuntu上安装lzop. 所需软件：gcc、g++，Apache ant,lzop,lzo,hadoop-lzo.gcc和g++ ubuntun上已经集成的有。 安装lzo: hadoop@ubuntu:~$wget http://ww
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
