大数据之配置(hadoop的环境配置一)

hadoop的配置:java环境配置,hadoop集群配置,ssh免密配置

1.ssh免密配置

什么是ssh?

简单说,SSH是一种网络协议,用于计算机之间的加密登录。如果一个用户从本地计算机,使用SSH协议登录另一台远程计算机,我们就可以认为,这种登录是安全的,即使被中途截获,密码也不会泄露。最早的时候,互联网通信都是明文通信,一旦被截获,内容就暴露无疑。1995年,芬兰学者Tatu Ylonen设计了SSH协议,将登录信息全部加密,成为互联网安全的一个基本解决方案,迅速在全世界获得推广,目前已经成为Linux系统的标准配置。SSH只是一种协议,存在多种实现,既有商业实现,也有开源实现。本文针对的实现是OpenSSH,它是自由软件,应用非常广泛。

ssh安装
(注意:在linux系统中,安装软件,一般都是解压,有的使用yum安装(使用yum安装默认配置环境,关键看你能不能找到),配置环境测试,三步曲)

安装ssh
yum install ssh
启动SSH:
service sshd start
设置开机运行:
chkconfig sshd on
ssh配置
1、修改vi /etc/ssh/sshd_config,根据模板将要修改的参数注释去掉并修改参数值:
Port 22 指定SSH连接的端口号,安全方面不建议使用默认22端口Protocol 2,1 允许SSH1和SSH2连接,建议设置成 Protocal 2其他参数根据自己的需要进行调整。配置方法详见: man ssh_config
2、修改hosts.deny 在最后面添加一行:
sshd:All
3、修改hosts.allow 在最后面添加一行:
sshd:All
如果为了安装可以限制访问的IP,设置如下:
sshd:192.168.0.101
sshd:192.168.0.102
上述配置表示只允许101和102的服务器进行SSH连接
4、启动SSH
/etc/init.d/sshd start
至此SSH已经可以连接了
输入连接IP

查看ssh是否安装成功

在终端输入ssh 看看是否有ssh的信息




免密配置ssh


在linux中使用ssh-keygen来产生ssh的秘钥,一般会产生2把,一把公钥,一把私钥

生成秘钥命令

ssh-keygen -t rsa

一直回车就可以了,不用配置其他

hadoop配置ssh端口变了 hadoop中ssh是什么_大数据


生成上面图的内容时候,会在根目录下生成一个。ssh文件,如图

hadoop配置ssh端口变了 hadoop中ssh是什么_上传_02


切换到.ssh文件中会看到2个文件

hadoop配置ssh端口变了 hadoop中ssh是什么_hadoop配置ssh端口变了_03


其中的id_rsa 是私钥, id_rsa.pub是公钥 一般authorized_keys是不存在的需要自己创建,并且要变换.ssh文件下的文件权限,公钥才会生效

如果希望ssh公钥生效需满足至少下面两个条件:

      1) .ssh目录的权限必须是700

      2) .ssh/authorized_keys文件权限必须是600

当我们需要把ssh授权给那台机器,就将id_rsa.pub中的内容复制给目标机的authorized_keys中。

完成以上配置以后,当有几台机器可以互相访问时,需要把公钥配置在.ssh的authorized_keys中,而且几台机器的authorized_keys都相同,这样在不同的终端可以相互切换

楼主使用的是2台机器,相互访问,分别是master和node3

注意看终端用户的变化

hadoop配置ssh端口变了 hadoop中ssh是什么_上传_04


hadoop配置ssh端口变了 hadoop中ssh是什么_hadoop_05

2.JDK的配置

在学习jdk的配置之前,让我们熟悉一下,rz,sz命令

这是一个让虚拟机和主机进行文件共享的命令,要想使用sz或者rz命令前,必须要安装lrzsz的命令

yum install lrzsz

2个命令需要在xshell中或者其他类似的软件中使用会有很好的效果

安装lrzsz之后,在xshell的终端输入rz,就会跳出如下文件选择框

hadoop配置ssh端口变了 hadoop中ssh是什么_大数据_06


由于我在上传文件时候已经下载好了安装包,所以你们看到的会有2个压缩包,上传完成以后,默认在根目录下,如图

hadoop配置ssh端口变了 hadoop中ssh是什么_linux_07


当文件已经上传到虚拟机上以后,根据需要创一个文件夹,把文件解压目标文件中,所以需要注意一点,在linux中安装文件,一般解压以后,就和win一样了,不需要安装

楼主创建了一个,my_app文件,作为日常安装文件的主目录,然后把文件解压到这个地方,

hadoop配置ssh端口变了 hadoop中ssh是什么_hadoop_08


解压以后文件就看到默认生成一个jdk1.8.0_201的文件夹,注意这个时候和windows中安装的路径下的内容是差不多的,所以linux安装应用,只要解压就可以了。再来就是jdk环境配置了在根目录中的etc文件中下的profile文件中配置环境

vi /etc/profile

在文件末尾追加如图内容,根据你解压的目录

hadoop配置ssh端口变了 hadoop中ssh是什么_大数据_09


配置完成更新一下配置文件 使用命令 . /etc/profile

在根下输入jps看看出来信息不,如果出来信息,则说明配置成功

hadoop配置ssh端口变了 hadoop中ssh是什么_hadoop_10


3.安装hadoop

使用rz上传hadoop合适的版本,解压到目标文件中,

hadoop配置ssh端口变了 hadoop中ssh是什么_大数据_11


下面就是配置文件

hadoop配置ssh端口变了 hadoop中ssh是什么_hadoop_12


在终端输入命令hadoop命令,如图

hadoop配置ssh端口变了 hadoop中ssh是什么_hadoop_13


配置成功

在进行二次配置,

hadoop配置ssh端口变了 hadoop中ssh是什么_hadoop_14


把里面java_home换成绝对路径就可以了

hadoop安装成功
hadoop集群搭建有三种模式,在下一篇里面详细讲解hadoop的三种搭建方式,欢迎指正。