libhdfs简介
libhdfs是hadoop为C/C++访问分布式文件系统提供的JNI接口。
配置环境：
linux：CentOS5.5
hadoop：hadoop-0.21.0
jdk：jdk1.6.0_26libhdfs环境变量配置
把libhdfs需要的jar包加入CLASSPATH中。因为不知道所需的jar包是哪些，并且因为配置的hadoop版本也不同，因此肯定能跑的方法就是将全部jar包添加进CLASSPATH变量内。PS：直接将两个目录包进去好像是不行的，也不知道为什么。
使用root用户执行命令
vim /etc/profile
打开profile文件，在文件尾部添加
# #号开头的为注释，文件内是不需要的
#libhdfs所在的文件夹$HADOOP_HOME/hdfs/src/c++/libhdfs.PS:可能跟你的版本不一样
#java的头文件所在文件夹$JAVA_HOME/include:$JAVA_HOME/include/Linux，也就是jni所在文件夹
export C_INICLUDE_PATH=$HADOOP_HOME/hdfs/src/c++/libhdfs:$JAVA_HOME/include:$JAVA_HOME/include/Linux
#
export LD_LIBRARY_PATH=/usr/local/hadoop/hadoop-0.21.0/c++/Linux-i386-32/lib:/usr/java/jdk1.6.0_26/jre/lib/i386/server
#将$HADOOP_HOME目录下的jar包全部添加
for i in $HADOOP_HOME/*.jar
do
CLASSPATH=$CLASSPATH:$i
done
#将$HADOOP_HOME/lib目录下的jar全部添加
for i in $HADOOP_HOME/lib/*.jar
do
CLASSPATH=$CLASSPATH:$i
done
export CLASSPATH动态链接库的配置
添加动态链接库到/etc/ld.so.conf.f中，使用root权限输入命令
vim /etc/ld.so.conf.d/hdfs.conf
java的动态链接库路径$JAVA_HOME/jre/lib/i386/serverlibhdfs的动态链接库路径$HADOOP_HOME/c++/Linux-i386-32/lib向里面添加java的动态链接库路径和libhdfs的动态链接库路径
/usr/java/jdk1.6.0_26/jre/lib/i386/server/usr/local/hadoop/hadoop-0.21.0/c++/Linux-i386-32/lib
保存退出后,执行命令使其生效
ldconfig -vMakefile文件
linux下编过程序都知道，当多文件时，使用makefile文件是必不可少的。你也可以使用命令行,只不过繁琐一点而已。
HADOOP_HOME=/usr/local/hadoop/hadoop-0.21.0
PLATFORM=Linux-i386-32
JAVA_HOME=/usr/java/jdk1.6.0_26
CPPFLAGS= -I$(HADOOP_INSTALL)/hdfs/src/c++/libhdfs
LIB = -L$(HADOOP_HOME)/c++/Linux-i386-32/lib
libjvm=/usr/java/jdk1.6.0_26/jre/lib/i386/client/libjvm.so
LDFLAGS += -lhdfs
hadoop: hadoop.c
gcc hadoop.c $(CPPFLAGS) $(LIB) $(LDFLAGS) $(libjvm) -o hadoop
clean:
rm hadoop
libhdfs测试代码
#include "hdfs.h"
int main(int argc, char **argv) {
hdfsFS fs = hdfsConnect("192.168.1.147", 9000);//default为本地文件系统，ip地址为HDFS系统
const char* writePath = "/tmp/testfile.txt";//要事先创建一个测试文件
hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY|O_CREAT, 0, 0, 0);
if(!writeFile) {
fprintf(stderr, "Failed to open %s for writing!\n", writePath);
exit(-1);
}
char* buffer = "Hello, World!";
tSize num_written_bytes = hdfsWrite(fs, writeFile, (void*)buffer, strlen(buffer)+1);
if (hdfsFlush(fs, writeFile)) {
fprintf(stderr, "Failed to 'flush' %s\n", writePath);
exit(-1);
}
hdfsCloseFile(fs, writeFile);
}执行并测试
在makefile文件的目录下执行命令
第一条：make第二条：./hadoop
打开浏览器输入你的HDFS地址http://192.168.1.147:50070
进入HDFS系统查看是否存在此文件。
点击Browse the filesystem进入
进入/tmp查看到文件testfile.txt。证明上传成功！
常见错误
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
问题：Exception in thread "main" java.lang.NoClassDefFoundError:org/apache/commons/configuration/Configuration……
解决方案：
肯定是CLASSPATH路径没有设置正确，没有添加到所需的jar包，回到上文查看libhdfs环境变量配置即可。
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
问题：error while loading shared libraries: libhdfs.so.0:cannot open shared object file: No such file or directory
解决方案：
先将libhdfs.so.0删除rm ./libhdfs.so.0
重新创建一个链接ln -s ./libhdfs.so.0.0.0 ./libhdfs.so.0
在/etc/ld.so.conf中加入一行/usr/local/hadoop/hadoop-0.21.0/c++/Linux-i386-32/lib
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
※问题：配置环境后，提示CLASSPATH=……：No such file or directory
解决方案：
还是CLASSPATH配置错误。如循环添加hadoop的jar包，直接复制网上代码，从而导致出错。
原因是网上代码与vim内字符集不同，CLASSPATH=$CLASSPATH:$i 前面的空格与vim内看似一样实则不一样，因此我一个下午就废在这里了。
