大数据之配置(hadoop的环境配置一)
hadoop的配置:java环境配置,hadoop集群配置,ssh免密配置
1.ssh免密配置
什么是ssh?
简单说,SSH是一种网络协议,用于计算机之间的加密登录。如果一个用户从本地计算机,使用SSH协议登录另一台远程计算机,我们就可以认为,这种登录是安全的,即使被中途截获,密码也不会泄露。最早的时候,互联网通信都是明文通信,一旦被截获,内容就暴露无疑。1995年,芬兰学者Tatu Ylonen设计了SSH协议,将登录信息全部加密,成为互联网安全的一个基本解决方案,迅速在全世界获得推广,目前已经成为Linux系统的标准配置。SSH只是一种协议,存在多种实现,既有商业实现,也有开源实现。本文针对的实现是OpenSSH,它是自由软件,应用非常广泛。
ssh安装
(注意:在linux系统中,安装软件,一般都是解压,有的使用yum安装(使用yum安装默认配置环境,关键看你能不能找到),配置环境,测试,三步曲)
安装ssh
yum install ssh
启动SSH:
service sshd start
设置开机运行:
chkconfig sshd on
ssh配置
1、修改vi /etc/ssh/sshd_config,根据模板将要修改的参数注释去掉并修改参数值:
Port 22 指定SSH连接的端口号,安全方面不建议使用默认22端口Protocol 2,1 允许SSH1和SSH2连接,建议设置成 Protocal 2其他参数根据自己的需要进行调整。配置方法详见: man ssh_config
2、修改hosts.deny 在最后面添加一行:
sshd:All
3、修改hosts.allow 在最后面添加一行:
sshd:All
如果为了安装可以限制访问的IP,设置如下:
sshd:192.168.0.101
sshd:192.168.0.102
上述配置表示只允许101和102的服务器进行SSH连接
4、启动SSH
/etc/init.d/sshd start
至此SSH已经可以连接了
输入连接IP
查看ssh是否安装成功
在终端输入ssh 看看是否有ssh的信息
免密配置ssh
在linux中使用ssh-keygen来产生ssh的秘钥,一般会产生2把,一把公钥,一把私钥
生成秘钥命令
ssh-keygen -t rsa
一直回车就可以了,不用配置其他
生成上面图的内容时候,会在根目录下生成一个。ssh文件,如图
切换到.ssh文件中会看到2个文件
其中的id_rsa 是私钥, id_rsa.pub是公钥 一般authorized_keys是不存在的需要自己创建,并且要变换.ssh文件下的文件权限,公钥才会生效
如果希望ssh公钥生效需满足至少下面两个条件:
1) .ssh目录的权限必须是700
2) .ssh/authorized_keys文件权限必须是600
当我们需要把ssh授权给那台机器,就将id_rsa.pub中的内容复制给目标机的authorized_keys中。
完成以上配置以后,当有几台机器可以互相访问时,需要把公钥配置在.ssh的authorized_keys中,而且几台机器的authorized_keys都相同,这样在不同的终端可以相互切换
楼主使用的是2台机器,相互访问,分别是master和node3
注意看终端用户的变化
2.JDK的配置
在学习jdk的配置之前,让我们熟悉一下,rz,sz命令
这是一个让虚拟机和主机进行文件共享的命令,要想使用sz或者rz命令前,必须要安装lrzsz的命令
yum install lrzsz
2个命令需要在xshell中或者其他类似的软件中使用会有很好的效果
安装lrzsz之后,在xshell的终端输入rz,就会跳出如下文件选择框
由于我在上传文件时候已经下载好了安装包,所以你们看到的会有2个压缩包,上传完成以后,默认在根目录下,如图
当文件已经上传到虚拟机上以后,根据需要创一个文件夹,把文件解压目标文件中,所以需要注意一点,在linux中安装文件,一般解压以后,就和win一样了,不需要安装
楼主创建了一个,my_app文件,作为日常安装文件的主目录,然后把文件解压到这个地方,
解压以后文件就看到默认生成一个jdk1.8.0_201的文件夹,注意这个时候和windows中安装的路径下的内容是差不多的,所以linux安装应用,只要解压就可以了。再来就是jdk环境配置了在根目录中的etc文件中下的profile文件中配置环境
vi /etc/profile
在文件末尾追加如图内容,根据你解压的目录
配置完成更新一下配置文件 使用命令 . /etc/profile
在根下输入jps看看出来信息不,如果出来信息,则说明配置成功
3.安装hadoop
使用rz上传hadoop合适的版本,解压到目标文件中,
下面就是配置文件
在终端输入命令hadoop命令,如图
配置成功
在进行二次配置,
把里面java_home换成绝对路径就可以了
hadoop安装成功
hadoop集群搭建有三种模式,在下一篇里面详细讲解hadoop的三种搭建方式,欢迎指正。