文章目录

  • ​​0 错误重现​​
  • ​​1 问题原因​​
  • ​​2 解决方法​​

0 错误重现

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/.sparkStaging/application_1623379050768_0061/__spark_libs__3146133095609402480.zip could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.

1 问题原因

hadoop启动异常，部分hadoop应用并未启动成功。

2 解决方法

重新启动hadoop，方法如下：

  • 1,删除hadoop下配置的hdfs-site.xml中的配置的路径下的文件夹，例如​​/home/hadoop/datanode/data/current​​.
  • 2,重启namenode
$ cd /usr/app/hadoop-2.10.1/bin && ./hadoop namenode -format
  • 3,重启hadoop
$ cd /usr/app/hadoop-2.10.1/sbin && sh ./start-all.sh
  • 4,查看启动的应用
# Jps
21488 ResourceManager
23296 DataNode
23656 NodeManager
22298 NameNode
22507 SecondaryNameNode
24973 Jps