centos下,安装spark+hadoop+scala,


说下我遇到的问题和注意事项


1、hadoop的文件夹及用户问题


假定是3台部署,1台master,2台slave,在master,slave1,slave2上均建立hadoop用户,


然后用命令修改所有者


sudo chown -hR hadoop /srv/hadoop


2、低级错误,端口号,主要是全角的冒号::导致的


hdfs://master:9000和hdfs://master:9000


因为复制的电子书的配置文件


3、端口号,no route to host


这是个组名的问题难题,虽然官方有说明,但一点解决不了问题


还是要自己解决


一个是关闭防火墙,另外一个是查看端口telnet ip 端口号,


sudo iptables -F


缺点是机器重启后要重新运行一次


netstat -ntual | grep 9000


4、SSH免密码登录


ssh-keygen -t rsa  而不是ssh-keygen -trsa,书上的错误


5、HOSTS配置

192.168.0.100 master

192.168.0.200 slave1

192.168.0.201 slave2


6、JPS少了进场

master运行JPS,只有namenode ,secondarynamenode,jps ,resourcemanager

slave运行jps ,只有datanode,nodemanager,jps


50070能访问,但50030不能,没有jobtracker和 tasktracker


原因是2.*版本后没有了这2个