VM-CentOS7搭建hadoop小型集群
一、安装三台向虚拟机并实现SSH免密登录
1.1 安装三台虚拟机CentOS7
第一台按照下方链接正常安装,后两台依据第一台进行克隆。记得要分别配置IP地址,关闭防火墙和SELINUX
关闭防火墙和SELINUX命令:(CentOS7默认使用firewall作为防火墙)
注:以下命令均在终端中执行
#停止firewall
systemctl stop firewalld.service
#禁止firewall开机启动
systemctl disable firewalld.service
# 修改 /etc/selinux/config 文件中的 SELINUX=”” 为 disabled ,然后重启。
vi /etc/selinux/config
SELNIUX=disabled
# 重启centos7
reboot
1.2 分别修改服务器名以及链接其他服务器的IP名
1.2.1 修改服务名
# 查看当前服务器名
hostname
# 修改本机服务器名
hostnamectl set-hostname 自设服务器名
1.2.2 修改其他服务器链接时的IP名
vi /etc/hosts
**注:另外两台虚拟机也按照同样的设置。
设置完成后每台虚拟机都需要重启。
配置完成后可以使用ping命令检查这3个机器是否相互ping通,以hadoop为例
# -c命令是ping几次,如果不设置停止,linux会一直执行ping命令
ping -c 3 hadoop1
1.3 进行SSH免密互登设置
1.3.1 检查SSH client、SSH server是否已经安装,一般情况下是默认安装
rpm -qa | grep ssh
# 如果未安装 执⾏
sudo yum install openssh-clients
sudo yum install openssh-server
# 测试SSH
ssh localhost
# 执⾏后输⼊⽤户hadoop的登录密码
# 提示符号由[hadoop@localhost root]变成[hadoop@localhost ~]
# ~代宿主⽬录, 例如 当前~代表/home/hadoop ⽬录,类似windows下 的user/XXX
1.3.2 配置SSH公钥
# 使用rsa或dsa加密,选择一种即可
ssh-keygen -t rsa
ssh-keygen -t dsa
另外两个虚拟机也同样执行 #ssh-keygen -t rsa 操作。
分别把 hadoop1 和 hadoop2 上的 id_rsa.pub 通过 scp 复制到 node01的 .ssh 目录下。
#分别在hadoop1,hadoop2上执行下面命令
scp id_rsa.pub root@hadoop1:$PWD/id_rsa.pub2
scp id_rsa.pub root@hadoop2:$PWD/id_rsa.pub3
把公钥写入 authorized_keys
# cd ~/.ssh/
cat id_rsa.pub >> authorized_keys
cat id_rsa.pub2 >> authorized_keys
cat id_rsa.pub3 >> authorized_keys
修改文件权限
# 最大权限777,需要设置600以上
chmod 600 /root/.ssh/authorized_keys
然后把 authorized_keys 再复制到 hadoop1 和 hadoop2 上
scp /root/.ssh/authorized_keys root@192.168.137.7:/root/.ssh/
scp /root/.ssh/authorized_keys root@192.168.137.8:/root/.ssh/
执行后需要重启 CentOS7。
通过 # ssh hadoop1 测试是否可以免密互登。通过命令 exit 退出。
**注:**验证时,可能会出现如下错误
# 使用如下命令可以避免以后在此处出现
# StrictHostKeyChecking=no 第一次登陆服务器时自动拉取key文件
ssh -o StrictHostKeyChecking=no 192.168.137.xxx
# 或是修改/etc/ssh/ssh_config文件的配置,在最后面添加:
StrictHostKeyChecking no
UserKnownHostsFile /dev/null
二、安装 java-jdk和Hadoop
查看当前系统中是否存在java环境
rpm -qa |grep java
rpm -qa |grep jdk
# gcj是针对java的一个环境编译器,这个有没有不影响后续操作
rpm -qa |grep gcj
CentOS7中有很多版本的java,一般我们使用java-1.8.0版本的
2.1 下载及配置 JAVA
2.1.1 下载 java-jdk
sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
或者是通过 VM 的共享文件夹 /mnt/hgfs 进行安装包传入并解压缩
# 解压缩命令
tar -xzvf jdk-8u201-linux-x64.tar
2.1.2 配置环境变量
修改 /etc/profile ,文件尾部增加以下内容
vi /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
使profile文件生效,还需在终端执行下面的命令:
source /etc/profile
测试是否安装成功,执行命令
java -version
javac -version
2.2 安装和配置 Hadoop
注:每一台均进行同样的操作,以下搭建过程中的端口设置,请先检查个人服务器是否有端口冲突。
2.2.1 下载 Hadoop3.3.0
# 默认下载到 ~/ 宿主目录下
wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
# 或
wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-aarch64.tar.gz
或是在主机中下载并移至VM的共享文件夹中
2.2.2 安装 Hadoop
- 在 opt 目录下新建一个名为 hadoop 的目录,并将下载得到的 hadoop-3.3.0.tar.gz 解压到该目录
tar -xzvf /mnt/hgfs/hadoop-3.3.0.tar.gz -C /opt/hadoop/
- 新建几个目录
在 /root 目录下新建几各目录,复制粘贴执行下面的命令:
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data
2.2.3 配置 Hadoop
修改 /etc/hadoop 中的一系列配置文件
vi /opt/hadoop/hadoop-3.2.0/etc/hadoop/
- 修改 core-site.xml
在 节点内加入配置:
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
注意: hdfs://server1:9000 此处应与hostname保持一致。
- 修改hdfs-site.xml
在 节点内加入配置:
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>need not permissions</description>
</property>
说明:dfs.permissions 配置为false后,可以允许不要检查权限就生成dfs上的文件,方便倒是方便了,但是你需要防止误删除,请将它设置为true,或者直接将该property节点删除,因为默认就是true。
- 新建并且修改mapred-site.xml
在该版本中,有一个名为mapred-site.xml的文件,复制该文件,后改名mapred-site.xml.template,命令是:
cp mapred-site.xml mapred-site.xml.template
修改这个新建的mapred-site.xml文件,在 节点内加入配置:
<property>
<name>mapred.job.tracker</name>
<value>hadoop:49001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/root/hadoop/var</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
注意: hadoop:49001
- 修改workers文件(旧版本可能修改 slaves 文件)
修改worker文件,将里面的localhost删除,添加如下内容:
hadoop1
hadoop2
第二台虚拟机添加如下内容:
hadoop
hadoop2
注:如果是单节点运行则不需要修改。
- 修改yarn-site.xml文件
在 节点内加入配置(内存根据机器配置越大越好,我这里只配2个G是因为虚拟机安装测试):
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop</value>
</property>
<property>
<description>The address of the applications manager interface in the RM.</description>
<name>yarn.resourcemanager.address</name>
<value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
<description>The address of the scheduler interface.</description>
<name>yarn.resourcemanager.scheduler.address</name>
<value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
<description>The http address of the RM web application.</description>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
<description>The https adddress of the RM web application.</description>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
<description>The address of the RM admin interface.</description>
<name>yarn.resourcemanager.admin.address</name>
<value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>2048</value>
<discription>每个节点可用内存,单位MB,默认8182MB</discription>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
注意:端口号与里面的值,后期优化配置需要修改,第一次配可以全复制。
说明:yarn.nodemanager.vmem-check-enabled这个的意思是忽略虚拟内存的检查,如果你是安装在虚拟机上,这个配置很有用,配上去之后后续操作不容易出问题。如果是实体机上,并且内存够多,可以将这个配置去掉。
- 另外两台虚拟机同样配置
重复上述步骤
- 验证 Hadoop 是否安装成功
cd /opt/hadoop/hadoop-3.3.0/bin
./hadoop version
三、集群式启动 Hadoop
因为 hadoop 是namenode, hadoop1 和 hadoop2 都是datanode,所以只需要对 hadoop 进行初始化操作,也就是对hdfs进行格式化。
1、进入到hserver1这台机器的/opt/hadoop/hadoop-3.2.0/bin目录,也就是执行命令:
cd /opt/hadoop/hadoop-3.3.0/bin
执行初始化脚本,也就是执行命令:
./hadoop namenode -format
等几秒没报错就是执行成功,格式化成功后,可以在看到在/root/hadoop/dfs/name/目录多了一个current目录,而且该目录内有一系列文件。
2、在namenode上执行启动命令
因为 hadoop 是namenode, hadoop1 和 hadoop2 都是datanode,所以只需要再 hadoop 上执行启动命令即可。
进入到 hadoop 这台机器的/opt/hadoop/hadoop-3.3.0/sbin目录
执行初始化脚本,也就是执行命令:
./start-all.sh
第一次执行上面的启动命令,会需要我们进行交互操作,在问答界面上输入yes回车。
正常登陆的截图:
(PS:这里是借用其他人的图片,时间有点紧,待后续配置完成重新放置哈)
上图中的 server1 是namanode,该机器的IP是192.168.10.198
- 访问 overview 页面
在本地电脑访问如下地址:【http://192.168.10.198:9870/】
注:3.x版本现在是启动 9870 端口。
- 访问 cluster 页面
在本地电脑访问如下地址:【http://192.168.10.198:8088/】
关闭 Hadoop
执行命令:
./stop-dfs.sh