lzop是开源的压缩算法框架。具体的介绍这里不再赘述,请去网上搜索。本文书写如何在ubuntu上安装lzop.

 所需软件:gcc、g++,Apache ant,lzop,lzo,hadoop-lzo.gcc和g++ ubuntun上已经集成的有

 安装lzo:

   hadoop@ubuntu:~$wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz

   hadoop@ubuntu:~$ tar -zxvf lzo-2.06.tar.gz
   hadoop@ubuntu:~/lzo-2.06$./configure --enable-shared
   hadoop@ubuntu:~/lzo-2.06$ make &&sudo make install

   在32位系统机器内将安装后的库文件复制到/usr/lib目录下

   hadoop@ubuntu:~/lzo-2.06$cp /usr/local/lib/liblzo2* /usr/lib

 安装lzop:

   hadoop@ubuntu:~$sudo apt-get install lzop

 安装配置ant:

   hadoop@ubuntu:~$sudo apt-get install ant

 下载hadoop-lzo:

   下载地址:https://github.com/toddlipcon/hadoop-lzo

    解压压缩包,进入解压文件夹内,运行 ant package 

    如果报找不到hadoop相关类的错误,修改build.xml 中

    <javah classpath="${build.classes}"为<javah classpath="/usr/hadoop-1.1.1/hadoop-core-1.1.1.jar:${build.classes}" 然后再运行。记着你自己安装的hadoop-core jar包的路劲,别粘成我的了啊!

修改hadoop配置:

   把你编译的hadoop-lzo-0.4.15.jar(在build文件夹下)拷贝到 $HADOOP_HOME/lib下,同时把hadoop-lzo-0.4.15/lib/native下的jar包拷贝到 $HADOOP_HOME/lib/native下

  修改core-site.xml

  1. <property> 
  2. <name>mapred.compress.map.output</name> 
  3. <value>true</value> 
  4. </property> 
  5. <property> 
  6. <name>mapred.map.output.compression.codec</name> 
  7. <value>com.hadoop.compression.lzo.LzoCodec</value> 
  8. </property> 
  9. <property> 
  10. <name>io.compression.codecs</name> 
  11. <value>org.apache.hadoop.io.compress.GzipCodec, 
  12. org.apache.hadoop.io.compress.DefaultCodec, 
  13. org.apache.hadoop.io.compress.BZip2Codec, 
  14. com.hadoop.compression.lzo.LzoCodec, 
  15. com.hadoop.compression.lzo.LzopCodec, 
  16. org.apache.hadoop.io.compress.SnappyCodec</value> 
  17. </property> 
  18. <property> 
  19. <name>io.compression.codec.lzo.class</name> 
  20. <value>com.hadoop.compression.lzo.LzoCodec</value> 
  21. </property> 

然后重新运行hadoop,即安装成功。