Hadoop的配置文件
原创
©著作权归作者所有:来自51CTO博客作者mingo_敏的原创作品,请联系作者获取转载授权,否则将追究法律责任
hadoop 安装和配置的一些文件内容信息,以及配置过程中出现的一些其他问题的解决方案。
/etc/profile
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-1.2.1
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
hadoop-env.sh
JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://mingo:9000</value>
</property>
hdfs-site.xml
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>mingo:9001</value>
</property>
输入 hadoop 运行
如果出现 onnect to host localhost port 22:Connection refused 问题,是因为没有安装ssh或者未启动 (ubuntu 11.10 默认安装openssh-client,但是木有安装server)
解决方案:
- 运行 ps -e | grep ssh,查看是否有sshd进程
- 如果没有,说明server没启动,通过 /etc/init.d/ssh -start 启动server进程,如果提示ssh不存在 那么就是没安装server
- 通过 sudo apt-get install openssh-server命令安装即可
切换到目录 /opt/hadoop-1.2.1/bin 下面
hadoop namenode -format
启动
start-all.sh
jps 查看运行哪些java 进程
7085 JobTracker
7329 Jps
6824 DataNode
7259 TaskTracker
6647 NameNode
7001 SecondaryNameNode
如果出现下面问题
http://chenzhou123520.iteye.com/blog/1826002