1.datanode节点TaskTracker任务启动,但是DataNode任务未启动
这一般是由于对hadoop进行升级后导致的,需要删除hadoop.tmp.dir所对应的文件夹,然后再对namenode进行重新格式化,删除之前先将数据导出,要不然数据就没了
2./lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录
缺少 glibc.i686组件
命令:yum install glibc.i686
3. hadoop-site.xml:1:1: 文件提前结束
hadoop目录下面conf文件夹中多了一个hadoop-site配置文件,在0.20.2版本之前,conf里面有一个 hadoop-site.xml文件,在0.20.0之后的版本 conf下没有这个hadoop-site.xml文件,取而代之的是三个文件,core-site.xml,hdfs-site.xml,mapred.xml
解决方法:删除conf文件夹下面的hadoop-site.xml就行
4.用eclipse连接集群查看文件信息提示9001端口拒绝连接的错误
Cannot connect to the Map/Reduce location: hadoop1.0.3
Call to localhost/127.0.0.1:9001 failed on connection exception: java.net.ConnectException: 拒绝连接
解决办法:配置都很正常,就是连接不了。后来重新配置hadoop location,把Map/Reduce Master 和 DFS Master中的Host由localhost改成了ip地址(192.168.33.164),然后问题就解决了。奇怪,localhost不就是本机嘛,而namenode主机(192.168.33.164)也是本机。
出现问题以后先查看日志, 以下是常见的错误情况
1 地址占用
org.apache.hadoop.hdfs.server.namenode.NameNode: Address already in use
查找被占用的端口号对应的PID : netstat -tunl
p kill -9 PID实在不行就killall -9 java
2 safemode
bin/hadoop fs -put ./input input
put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/input. Name node is in safe mode.
hadoop dfsadmin -safemode leave
解决方法:
NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。
dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式,否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。
下面这行摘录自NameNode启动时的日志(block上报比例1达到了阀值0.9990)
The ratio of reported blocks 1.0000 has reached the threshold 0.9990. Safe mode will be turned off automatically in 18 seconds.
有两个方法离开这种安全模式
(1)修改dfs.safemode.threshold.pct为一个比较小的值,缺省是0.999。
(2)hadoop dfsadmin -safemode leave命令强制离开
用户可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下:
enter - 进入安全模式
leave - 强制NameNode离开安全模式
get - 返回安全模式是否开启的信息
wait - 等待,一直到安全模式结束。
3 could only be replicated to 0 nodes, instead of 1
hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop
.ipc.RemoteException: java.io.IOException: ... could only be replicated to 0 nodes, instead of 1 ...
可能出现的现象: 用jps查看进程都正常。但是用web查看的话,live nodes为0. 这说明datanode没有正常启动,但是datanode进程又启动了。
解决方法:
(1)防火墙原因
(2)磁盘空间原因
df –ah #查看磁盘空间
如果是磁盘空间不够,则调整磁盘空间(像我就是磁盘空间不够)
如果上述办法不行,用以下办法( 只不过会丢失掉已有数据,请慎重使用 )
- 先运行stop-all.sh
- 格式化namdenode,不过在这之前要先删除原目录,即core-site.xml下配置的<name>hadoop.tmp.dir</name>所指向的目录,删除后切记要重新建立配置的空目录,然后运行hadoop namenode -format。 为了方便删除,我写了一个sh脚本来统一执行(这里连log日志文件一并删除了):
- 运行start-all.sh