查看日志cat/var/log/spark/spark-root-org.apache.spark.deploy.worker.Worker-1-cdhm2.outERRORWorker:73-Failedtocreateworkdirectory/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/spark/work报错显示无法创建w
1、cdh在spark的conf中没有slaves文件解决方法：在spark的conf目录下添加slaves文件，内容为worker节点名2、yarn的端口和spark的worker端口冲突都是7337，导致worker进程不能正常工作解决办法：在spark的conf目录下修改spark-default.conf文件，把里面的7337端口改成其他的端口
hive安装
准备软件包1、hadoop-2.7.2.tar.gzhttp://mirror.bit.edu.cn/apache/hadoop/common/2、scala-2.10.4.tgzhttp://www.scala-lang.org/download/2.10.4.html3、spark-2.0.0-bin-hadoop2.7.tarhttp://spark.apache.org/downloads
官方文档：http://hadoop.apache.org/docs/r1.2.1/file_system_shell.html1、登录主节点，切换到hdfs用户[hdfs@cdhm1~]#su - hdfs2、列出当前目录有哪些子目录，有哪些文件[hdfs@cdhm1 ~]$hadoop fs -ls / Fou
执行如下命令，发现报错[hdfs@cdhm1 ~]$ hadoop distcp ftp://ftp01:ftppasswd@132.110.64.186/test hdfs:///user/data Error: java.net.SocketException: 网络不可达 at java.net.PlainSo
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
