hadoop 分布式实例 hadoop分布式搭建

转载

mob6454cc747bda 2023-07-12 12:14:44

文章标签 hadoop 分布式实例 hadoop 完全分布式集群搭建傻瓜教程 xml 文章分类 Hadoop 大数据

记录我的hadoop学习路线，也希望能帮助到正在学习hadoop可爱的亲们！

杰普企业老师指点

大纲：

一、搭建Hadoop全分布式集群前提
    1.1、网络
    1.2、安装jdk
    1.3、安装hadoop
二、Hadoop全分布式集群配置免密登录实现主节点控制从节点
    2.1、配置主从节点之间的免密登录
三、Hadoop全分布式集群搭建的配置
    3.1、hadoop-env.sh　　
    3.2、core-site.xml　
    3.3、hdfs-site.xml
    3.4.mapred-site.xml　　　　　　　　
    3.5、yarn-site.xml　　
    3.6、创建上面配置的目录
四、全分布式集群搭建测试
    4.1、运行环境
    4.2、服务器集群的启动与关闭
    4.3、效果
    4.4、监控平台
五、配置集群中遇到的问题

*************************************开始*****************************************

效果：

1.jdk,hadoop环境的搭建我就不说了。

2.我的集群机器配置情况：

master 192.168.153.100
slave1 192.168.153.101
slave2 192.168.153.102

***你用虚拟机可能会发现，换一个网络环境ip地址就改变了，解决办法：设置静态ip

ubuntu:

1）修改 etc/network/interfaces
auto ens33  
iface ens33 inet static  
address 192.168.8.100  //ip地址，自己设定
netmask 255.255.255.0  //子网掩码
gateway 192.168.8.2    //网关  ->虚拟机->编辑网络设置->nat模式就可以看到了

2）重启网络 sudo /etc/init.d/networking restart

3）修改系统运行级别，/etc/default/grub，如下：
GRUB_CMDLINE_LINUX_DEFAULT="text"

4）修改dns，要不不能上网，/etc/resolvconf/resolv.conf.d/base，如下：

nameserver 8.8.8.8

5）重启虚拟机，搞定。

centos:

a.修改/etc/sysconfig/network如下：
NETWORKING=yes
HOSTNAME=localhost.localdomain
GATEWAY=192.168.153.2

b.修改 /etc/sysconfig/network-scripts/ifcfg-eth0：
DEVICE=eth0
HWADDR=00:0c:29:b2:24:84  #ipconfig查看
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.153.102  #自定义ip地址
NETNASK=255.255.255.0   #子网掩码
GATEWAY=192.168.153.2	#网关
DNS1=192.168.8.2      #DNS

c.最后配置下/etc/resolv.conf：(其实这一步可以省掉，上面设置了DNS Server的地址后系统会自动修改这个配置文件。)
nameserver 192.168.8.2

d.重启网络服务
service network restart

3.配置免密登录（有点小坑）

目的：master 可以登录从节点，从节点也可以登录master，相互的；

比如A要免密登录B,将A的公钥放到B里（操作我当你会了）

master和slave..n 互相能免密登录（一定要先配好哦）

4.主节点要配置的东西：