centos下,安装spark+hadoop+scala,
说下我遇到的问题和注意事项
1、hadoop的文件夹及用户问题
假定是3台部署,1台master,2台slave,在master,slave1,slave2上均建立hadoop用户,
然后用命令修改所有者
sudo chown -hR hadoop /srv/hadoop
2、低级错误,端口号,主要是全角的冒号::导致的
hdfs://master:9000和hdfs://master:9000
因为复制的电子书的配置文件
3、端口号,no route to host
这是个组名的问题难题,虽然官方有说明,但一点解决不了问题
还是要自己解决
一个是关闭防火墙,另外一个是查看端口telnet ip 端口号,
sudo iptables -F
缺点是机器重启后要重新运行一次
netstat -ntual | grep 9000
4、SSH免密码登录
ssh-keygen -t rsa 而不是ssh-keygen -trsa,书上的错误
5、HOSTS配置
192.168.0.100 master
192.168.0.200 slave1
192.168.0.201 slave2
6、JPS少了进场
master运行JPS,只有namenode ,secondarynamenode,jps ,resourcemanager
slave运行jps ,只有datanode,nodemanager,jps
50070能访问,但50030不能,没有jobtracker和 tasktracker
原因是2.*版本后没有了这2个