1、集群启动的时候,从节点的datanode没有启动

    问题原因:从节点的tmp/data下的配置文件中的clusterID与主节点的tmp/data下的配置文件中的clusterID不一致,导致集群启动时,hadoop会杀死从节点的datanode进程。

    解决方案:

    a)  将集群关闭;

每一个节点都要做这个操作)

    c)  重新格式化一次hdfs

    d)  重启集群,问题解决

  2、集群启动时,jps显示所有的hadoop进程都已经存在,但是宿主机的浏览器打不开监控页面

    问题原因:集群中的所有节点的防火墙没有被禁用,导致宿主机无法访问监控界面。

    解决方案:

每一个节点都要做这个操作)

centos 7:

          systemctl stop firewalld.service #停止

          systemctl disable firewalld.service #禁用

之前的版本:          
         service iptables stop #停止
         chkconfig iptables off #禁用
   b)  问题解决。
 3、启动sparkshell的时候出现错误:
  Call From master to master:8020 failed on connection exception: java.net.ConnectException: Connection refused
   问题原因:端口设置错误或者集群未启动导致通信失败
   解决方案:
   a)  先jps查看是否集群启动,如果启动则非此原因
   b)  查看hdfs配置时候端口是8020
   c)  hdfsm默认端口为9000
 4、提交任务到集群的时候报错:
  ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive!
  解决过程:
  a) 先前我以为是scala版本不对,因为官网上spark默认所支持的scala版本是scala2.10,想要支持scala2.11.需要自行编译。而我用的时scala2.11,所以
  我把集群中scala版本全部换成2.10版本。但是问题未得到解决。
  b) 上网看到有人遇到相同的问题,说是spark提交任务的时候(如果通信工具没有改变的话,kafka另论),默认使用spark自带的通信工具akka,但是akka只  能够识别IP主机映射的hostname,而无法识别IP地址,所以我把集群中的每个节点的spark配置文件中的spark_master_ip修改为hostname(master主节点名  字),集群重启后,问题得到解决。
 5、在Spark集群提交任务后报错:
  You need to build Spark before running this program.
  Initial job has not accepted any resources; check your cluster UI to ensure
  通过查看日志发现,主节点的配置文件spark-evn.sh无故丢失(具体原因不详,可能是我在操作的时候在UI界面kill了一个任务导致),于是把其他节点的spark-evn.sh复制到主节点,集群服务全部关闭,主节点重启,服务重启,问题解决。
 6、Spark的Application(print一个结果)在提交到yarn的时候,成功执行完成,但是没有打印结果:
  Spark提交任务到yarn的时候有两种模式:yarn-client和yarn-cluster,yarn-client适合于日常生产,而yarn-client更适合于交互,可以作为测试使用。详细介绍请参看:《Spark:Yarn-cluster和Yarn-client区别与联系》
  所以,刚刚提交任务的时候我采用的是cluster模式,故没有打印结果,换成client模式就可以了。
 7、Spark提交任务后,Application运行成功,但是在SparkUI没有显示Application:
  原因:Spark的缺省配置spark-default.conf没有打开 
  解决方案,去掉spark-default.conf.template最后的 .template,重启集群,问题解决!
  PS: 其实1.4版本不打开这个spark-default.conf.template,spark默认在UI不可以显示的,这是因为你设置的主节点主机名不是master,而spark默认显示是master,所以UI无法正确显示Application。 另外,spark-submit提交任务到其他集群,在SparkUI中也是无法显示的,只能在对应的集群管理界面找到,一定要注意这一点!
 8、Spark On Yarn运行时,设置历史记录:spark.history.fs.logDirectory要与spark.eventLog.dir指向同一目录,否则无法正确显示历史日志!
 9、Spark On Yarn提交任务模板:spark-submit --master yarn-cluster --deploy-mode cluster --class com.quanttech.ASL.MoviesRecommond  hdfs://192.168.2.201:54310/user/bigdata/script/zj/ScalaTestRecommond.jar


 

如有其他问题,我会后续更新!O(∩_∩)O