本文用到的软件
设置固定IP
(1)
(2)修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33
”
#修改:
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
\#添加以下内容
IPADDR=192.168.128.130(根据自身情况)
NETMASK=255.255.255.0
GATEWAY=192.168.128.2
DNS1=192.168.128.2
重启服务,输入“service network restart
”
(3)再次重启服务并查看IP。
克隆节点
把克隆好的节点重新设置IP(修改地方如图)
修改主机名
最好是在xshell中进行
使用hostnamectl set-hostname
+修改后的主机名, 命令修改主机名
或者( vi /etc/hostname
)
修改好后重启虚拟机(reboot
)
重新连接后
配置IP映射
每个节点都要添加后
能够相互ping通
安装免密
应该是在主节点安装就可以了
ssh-keygen -t rsa
生成私有密钥id_rsa和公有密钥id_rsa.pub两个文件。ssh-keygen用来生成RSA类型的密钥以及管理该密钥,参数“-t”用于指定要创建的SSH密钥的类型为RSA。
(2)用ssh-copy-id将公钥复制到远程机器中
ssh-copy-id -i /root/.ssh/id_rsa.pub server001`//依次输入yes,123456(root用户的密码)
ssh-copy-id -i /root/.ssh/id_rsa.pub server002
ssh-copy-id -i /root/.ssh/id_rsa.pub server003
验证是否设置无密码登录
配置时间同步服务
(1)安装NTP服务。在各节点:
yum -y install ntp
(2)设置假设master节点为NTP服务主节点,那么其配置如下。
使用命令“vim /etc/ntp.conf
”打开/etc/ntp.conf文件,注释掉以server开头的行,并添加:
restrict 192.168.128.2 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10
(3)在slave中配置NTP,同样修改/etc/ntp.conf文件,注释掉server开头的行,并添加:
server master
(4)执行命令“sudo systemctl stop firewalld.service
”永久性关闭防火墙,主节点和从节点都要关闭。
(5)启动NTP服务
① 在master节点执行命令“service ntpd start & chkconfig ntpd on
”
② 在slave上执行命令“ntpdate master
”即可同步时间
③ 在slave上分别执行“service ntpd start & chkconfig ntpd on
”即可启动并永久启动NTP服务。
安装jdk(以master为例,主节点和从节点都要配置)
每一个结点都要安装
(1) 上传JDK安装包到虚拟机/opt目录
(2) 进入/opt目录,执行命令“rpm -ivh jdk-8u151-linux-x64.rpm
”安装JDK
(3) 在/etc/profile添加
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
执行source /etc/profile
使配置生效
(4) 验证JDK是否配置成功,执行命令“java -version”
Hadoop集群配置()
- 后面的配置文件都是复制粘贴就好
- 通过xmanager的Xftp上传hadoop-2.6.5.tar.gz文件到/opt目录
- 解压缩hadoop-2.6.5.tar.gz 文件
tar -zxf hadoop-2.6.5.tar.gz -C /usr/local
解压后即可,看到/usr/local/hadoop-2.6.5文件夹
- 配置Hadoop
进入目录:
cd /usr/local/hadoop-2.6.5/etc/hadoop/
依次修改下面的文件:
4.1 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/log/hadoop/tmp</value>
</property>
</configuration
4.2 hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_151
4.3 hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///data/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///data/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
4.4复制cp mapred-site.xml.template mapred-site.xml
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- jobhistory properties -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
4.5 yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/data/hadoop/yarn/local</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/data/tmp/logs</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://master:19888/jobhistory/logs/</value>
<description>URL for job history server</description>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>512</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>4096</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
</configuration>
4.6 yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_151
4.7 slaves
删除localhost,(有几个添加几个)添加:
slave1
slave2
slave3
拷贝hadoop安装文件到集群slave节点
scp -r /usr/local/hadoop-2.6.5 slave1:/usr/local
scp -r /usr/local/hadoop-2.6.5 slave2:/usr/local
scp -r /usr/local/hadoop-2.6.5 slave3:/usr/local
5.在/etc/profile添加Hadoop路径
export HADOOP_HOME=/usr/local/hadoop-2.6.5
export PATH=$HADOOP_HOME/bin:$PATH
source /etc/profile使修改生效
- 格式化NameNode
进入目录
cd /usr/local/hadoop-2.6.5/bin
执行格式化
./hdfs namenode -format
7.启动集群
进入目录
cd /usr/local/hadoop-2.6.5/sbin
执行启动:
./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver
使用jps,查看进程
[root@master sbin]# jps
1765 NameNode
1929 SecondaryNameNode
2378 JobHistoryServer
2412 Jps
2077 ResourceManager
[root@slave1 ~]# jps
1844 Jps
1612 DataNode
1711 NodeManager
在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com
- 浏览器查看:
http://master:50070 yNameNode
2378 JobHistoryServer
2412 Jps
2077 ResourceManager
[root@slave1 ~]# jps
1844 Jps
1612 DataNode
1711 NodeManager
在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com
- 浏览器查看:
http://master:50070
http://master:8088
总结:这就是一篇笔记,根据以前学校老师给出的文件自己搭建的集群。后面很多配置文件我也看不懂。