Hadoop集群搭建
一．网络配置
- 以Hadoop伪分布式为基础，已创建hadoop用户。并拥有1台虚拟机作为Master节点，N台虚拟机作为Slave节点。
- 首先先将虚拟机的网络配置进行修改，将网络里面的连接方式改为桥接网卡，使得接下来的每个节点的Mac地址不同。
打开虚拟机，使用 ifconfig 命令查看各台虚拟机的IP地址。
3. 因各台虚拟机创建后的主机名都是hadoop，为加以区分，修改各台虚拟机的主机名，例如改成Master，Slave1，Slave2……使用 sudo vim /etc/hostname
命令，在etc配置文件中找到主机名进行修改，修改完毕后，将虚拟机重启，才能看到主机名的变化。
@后面则是自己修改成的主机名。（hadoop01便是自己修改的主机名）
4. 使用ifconfig查看各个虚拟机的IP地址，然后打开作为Master的虚拟机，使用命令 sudo vim /etc/hosts 修改主机名映射关系。
192.168.56.101便是hadoop01的IP地址，而后hadoop01是其虚拟机的主机名，填写hosts文件后，输入 ping + 主机名 + c -3 查看是否虚拟机直接连接，注意要打开与之连接的虚拟机，才能ping通。
二．SSH无密码登录节点
- 每次Master节点需要与Slave节点连接，都需要密码，所以我们需要SSH无密码登录到各个Slave节点上。
生成公匙
进行如图所示操作，在进行
将Master节点上的公匙传输到Slave1节点上，如有多个节点，也一同传输
2.
在Slave1节点的虚拟机上，输入如上图的shell命令，将SSH公匙加入授权。
3. 在Master节点输入该图的shell命令，检验Master节点是否能无密码SSH登录到各个Slave节点。
三．配置PATH变量
- 执行 vim ~/.bashrc 命令
保存后执行命令 source ~/.bashrc 使配置生效。
这样便能在任意目录中直接使用hadoop、hdfs等命令。
四．配置集群/分布式环境
- 在配置集群/分布式模式时，需要修改“/usr/local/hadoop/etc/hadoop”目录下的配置文件，这里仅设置正常启动所必须的设置项，包括workers 、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml共5个文件。
- 首先修改文件slaves，将其中的localhost删除，添加Slave节点，使得Master节点只当作名称节点使用，将各Slave节点作为数据节点。
修改core-site.xml文件
修改hdfs-site.xml文件
如有N台虚拟机，则将N
修改文件mapred-site.xml
修改yarn-site.xml文件
- 完成以上的配置文件后，进行如下图的命令
在Slave1节点上执行
如有N台Slave节点虚拟机，则在每个Slave节点上执行
在Master节点输入该shell命令，执行名称节点的格式化（注意只需执行一次即可，若多次执行，可能会使得hadoop集群启动失败，如若失败，则将/hadoop目录下的tmp文件删除，重新进行格式化 hdfs namenode -format）
6.
然后即可启动Hadoop集群
启动完后输入jps命令，查看各个节点所启动的进程
Master节点：
Slave节点：
如各节点显示如上相同，则Hadoop集群配置和启动成功。
