Hadoop的安装

在全新安装的Linux系统下开始进行

一、赋予用户系统权限

1. 先切换到root用户下

hadoop ip 迁移 怎么样从hadoop转到root_hadoop

【注销】=》【未列出】=》【root】(用户名) =》【123456】(密码)

2.打开/etc/sudoer
sudo vim /etc/sudoer

hadoop ip 迁移 怎么样从hadoop转到root_傻瓜教程_02


找到第98行,添加一句【“你的用户名” ALL=(ALL) ALL】,注意和root行格式对齐。保存退出。

3. 切换回自己的用户,重启。
reboot

二、设置网络

(由于此部分命令比较复杂,所以选择在桌面模式下进行)

在桌面右上角选择进入有线设置。

hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_03


选择添加配置

hadoop ip 迁移 怎么样从hadoop转到root_傻瓜教程_04


添加IPv4模式下,用选择手动方式

hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_05


修改里的地址,网络掩码,网管,DNS选项

hadoop ip 迁移 怎么样从hadoop转到root_hadoop入门_06


地址在虚拟机设置中找到【编辑】=》【虚拟网络编辑】

hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_07


进入NAT设置

hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_08


hadoop ip 迁移 怎么样从hadoop转到root_hadoop入门_09


里面的子网IP,前三组输入到地址里,最后一组从3——254,任选,(2是网关)

子网掩码照抄,网关照抄。DNS选一个服务器,(google是8.8.8.8)

hadoop ip 迁移 怎么样从hadoop转到root_hadoop入门_10


进入终端界面,执行命令【sudo service network restart】重启网络,完成网络设置

可以执行命令ping 8.8.8.8, 查看网络是否连通(ctrl+c停止ping)

sudo service network restart
ping 8.8.8.8

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_11


可以使用ifconfig查看ip配置信息

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_12

三、关闭防火墙

1. 通过systemctl查看命令列表

hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_13

2. 输入systemctl status firewalld.service(查看防火墙状态,Active栏显示active(running)表示防火墙正在开启)
systemctl status firewalld.service

hadoop ip 迁移 怎么样从hadoop转到root_hadoop入门_14

3. 输入systemctl stop firewalld.service(关闭防火墙) 【需要输入密码验证】

再次查看防火墙状态systemctl status firewalld.service(查看状态)
【Active那里变为incative(dead)表示已经关闭】

systemctl stop firewalld.service
systemctl status firewalld.service

hadoop ip 迁移 怎么样从hadoop转到root_hadoop_15


但是这只是在本次关闭了防火墙,如果重新启动电脑,防火墙还是会被再次启动。

所以需要关闭防火墙的自动启动。

4. 输入【system list-unit-files】显示开机自启动的服务
systemctl list-unit-files

hadoop ip 迁移 怎么样从hadoop转到root_hadoop_16


向下找到firewalld.service看到后面是【enable】,表示防火墙开机自启动。

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_17

5. 输入(systemctl disable firewalld.service【关闭开机自启动】)需要验证两次密码

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_18


重新查看开机自启动列表

hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_19


找到防火墙部分,后面显示“disabled”表示成功将开机自启动关闭

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_20

四、设置免密登录

配置前需设置本机结点

1. 输入(sudo vim /etc/hostname)进入hostname文件,将文件中的内容全部删除,改为自己想要的主机名

hadoop ip 迁移 怎么样从hadoop转到root_hadoop_21


hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_22

2. 输入(sudo vim /etc/hosts)进入host文件,另起一行,加上(“虚拟机IP”+“本节点名”),保存退出。

hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_23

hadoop ip 迁移 怎么样从hadoop转到root_傻瓜教程_24


ping本机节点名,查看是否联通。

hadoop ip 迁移 怎么样从hadoop转到root_傻瓜教程_25


至此节点名称设置完成

3. 进入根目录下,输入(cd -a)显示隐藏文件夹,验证是否有ssh文件夹

hadoop ip 迁移 怎么样从hadoop转到root_hadoop_26

4. 输入(ssh-keygen –t rsa)建立ssh文件,存储在默认路径下即可;

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_27


ssh文件建立成功,查看ssh文件夹下的内容(id_rsa为私钥,id_rsa.pub为公钥)

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_28

5. 将id_rsa.pub复制重命名为(authorized_keys) 【由于linux系统不识别id_rsa.pub文件,可识别authorized_keys文件】

hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_29


登录“huang”节点,无须再输入密码,表示免密登录成功。

hadoop ip 迁移 怎么样从hadoop转到root_傻瓜教程_30

五、JDK的安装

1. 首先将jdk文件下载到用户目录下

hadoop ip 迁移 怎么样从hadoop转到root_hadoop_31

2. 在根目录下创建一个名叫JDKinstall的文件夹(名字随意)

hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_32

3. 将jdk文件拷贝到该文件夹下

hadoop ip 迁移 怎么样从hadoop转到root_hadoop入门_33

4. 将jdk文件解压

hadoop ip 迁移 怎么样从hadoop转到root_hadoop入门_34


解压后的文件

hadoop ip 迁移 怎么样从hadoop转到root_hadoop入门_35


现在可以选择卸载之前已经装好的JDK【可选操作】

先查询现有的java版本
再查询现在安装的jdk包

hadoop ip 迁移 怎么样从hadoop转到root_hadoop入门_36


按顺序一个一个卸载安装好的jdk包,知道全部卸载,并且查看java版本显示无安装的java版本

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_37


hadoop ip 迁移 怎么样从hadoop转到root_hadoop入门_38

5. 开始配置之前解压的jdk。

回到根目录下,进入bashrc文件(隐藏文件夹)。【ls –a查看隐藏文件】

hadoop ip 迁移 怎么样从hadoop转到root_hadoop_39


在文件中添加两行代码,保存后退出。

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_40


执行“source .bashrc”使文件立即生效

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_41


再次查看java版本,已变为我们需要的版本

hadoop ip 迁移 怎么样从hadoop转到root_hadoop_42

六、安装Hadoop

1. 下载Hadoop文件

hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_43

2. 如同jdk安装一样,建立hadoop文件夹,将解压包放入该文件夹

hadoop ip 迁移 怎么样从hadoop转到root_hadoop入门_44

3. 在该目录下解压文件,并且改名为hadoop
tar -xvf hadoop-2.6.5.tar
mv hadoop-2.6.5 hadoop

hadoop ip 迁移 怎么样从hadoop转到root_hadoop入门_45

4. 再次打开根目录下的bashrc文件进行修改
vim .barshrc

hadoop ip 迁移 怎么样从hadoop转到root_hadoop入门_46

5. 再次使bashrc文件立即生效
source .bashrc

查看安装hadoop版本信息,检查是否成功安装。

hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_47

七、配置hadoop信息

进入Hadoop/Hadoop/etc/hadoop文件夹下,修改六个配置文件

hadoop ip 迁移 怎么样从hadoop转到root_傻瓜教程_48

1. 修改core-site.xml文件,添加标签

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_49

2. 修改hadoop-env.sh文件

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_50

3. 进入yarn-env.sh文件,修改信息

hadoop ip 迁移 怎么样从hadoop转到root_hadoop ip 迁移_51

4. 进入hdfs-site.xml修改信息(可选信息,如果不设置有系统自动默认值)

hadoop ip 迁移 怎么样从hadoop转到root_hadoop安装_52

5. 将mapred-site.xml.template 文件改名为 mapred-site.xml(删除.template后缀)
mv  mapred-site.xml.template  mapred-site.xml

进入mapred-site.xml文件修改参数,指明yarn是我mapreducee资源管理框架

hadoop ip 迁移 怎么样从hadoop转到root_傻瓜教程_53

6. 进入yarn-site.xml文件修改参数【通过网络查询yarn端口默认是8032】

hadoop ip 迁移 怎么样从hadoop转到root_傻瓜教程_54

八、启动hadoop,首先先对hadoop进行格式化

1. 对hadoop进行格式化
hadoop  namenode  -format

如果最后出现【has been successfully formatted】则hadoop成功被格式化

hadoop ip 迁移 怎么样从hadoop转到root_傻瓜教程_55

2. 执行【start-all.sh】命令,启动hadoop

hadoop ip 迁移 怎么样从hadoop转到root_hadoop_56

3. 启动后执行【jps】命令,如果显示六条指令,则hadoop被成功启动

hadoop ip 迁移 怎么样从hadoop转到root_傻瓜教程_57