一、伪分布式模式安装介绍
那么伪分布式就是假分布式,假在哪里,假就假在他只有一台机器而不是多台机器来完成一个任务,但是他模拟了分布式的这个过程,所以伪分布式下Hadoop 也就是你在一个机器上配置了hadoop的所有节点。
特点:在单机上,模拟一个分布式的环境,具备Hadoop的所有功能
HDFS:NameNode + DataNode + SecondaryNameNode
Yarn:ResourceManager + NodeManager
虚拟机名字:HP110
用户是:root
二、关闭防火墙
这是CentOS7版本命令:
systemctl status firewalld.service -->查看防火墙状态
systemctl stop firewalld.service ---> 如果重启,会重启防火墙
systemctl disable firewalld.service ---> 永久关闭防火墙
注意:版本不同关闭防火墙命令也不同,下面是我们使用的CentOS6.5版本命令:
service iptables status -->查看防火墙状态
service iptables stop ---> 如果重启,会重启防火墙
chkconfig iptables off ---> 永久关闭防火墙
三、修改主机名和IP
1.查看主机名:hostname
临时修改hostname 命令是:hostname 名字
永久修改hostname
修改配置文件 /etc/sysconfig/network。
命令:[root@HP110 tools]# vi /etc/hostname
HP110 #设置的主机名
或者[root@HP110hadoop]# hostnamectl set-hostname 名字
centos7之前的版本请用此方法:
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=centos6
:wq #保存并退出
不过永久修改hostname需要重启后生效。
2.修改IP
[root@HP110 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static #设置成静态IP
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=4c6356d3-01cd-44ac-9e6f-67afa7f9b847
DEVICE=ens33
ONBOOT=yes #开机默认开启网络
IPADDR=192.168.231.110 #IP地址
GATEWAY=192.168.231.2 #网关
DNS1=8.8.8.8 #域名解析国内
DNS2=114.114.114.114 #域名解析国外
PREFIX=24
IPV6_PRIVACY=no
然后让修改IP生效:[root@HP110 ~]# service network restart
四、配置主机名和IP的对应关系
编辑配置文件 vi /etc/hosts
192.168.231.110 bigdata111
五、mkdir 创建目录
-p 父目录不存在情况下先生成父目录
约定: mkdir /opt/software(安装包目录)
mkdir /opt/module (软件目录)
六、安装并配置Hadoop和JDK环境变量
(1)使用tar命令解压
tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module
tar -zxvf hadoop-2.8.5.tar.gz -C /opt/module
(2)设置JAVA环境变量:vi /etc/profile
JAVA_HOME=/opt/module/jdk1.8.0_191
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
生效环境变量 source /etc/profile
(3)设置Hadoop的环境变量: vi /etc/profile
HADOOP_HOME=/opt/module/hadoop-2.8.5
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
生效环境变量 source /etc/profile
注意linux环境变量和Windows的环境变量一样,分系统环境变量和用户环境变量,系统环境变量对所有用户有效,而用户环境变量只对当前用户有效。
系统环境变量配置:vi /etc/profile 保存后执行source /etc/profile立即生效
用户环境变量配置:vi ~/ .bash_profile 保存后执行 source ~/.bash_profile立即生效
如果既配置了系统环境变量,又配置了用户环境变量,最终会以用户环境变量的配置为准。
七、修改hadoop文件
进入到 hadoop-2.7.3/etc/hadoop/ 目录下,例如:cd /opt/module/hadoop-2.7.3/etc/hadoop
vi hadoop-env.sh 把 JAVA_HOME 改为本地配置的 JDK 路径 即可
在25行设置: export JAVA_HOME=/opt/module/jdk1.8.0_191
vi core-site.xml
<!--配置HDFS主节点的地址,就是NameNode的地址-->
<!--9000是RPC通信的端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://HP110:9000</value>
</property>
<!--HDFS数据块和元信息保存在操作系统的目录位置-->
<!--默认是Linux的tmp目录,一定要修改-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.3/data/tmp</value>
</property>
<!--配置垃圾回收时间为单位1分钟-->
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
<!--进入垃圾回收站用户名称,默认是dr.who,root用户可以不设置-->
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
vi hdfs-site.xml
<!--配置数据块的冗余度,默认是3-->
<!--原则冗余度跟数据节点个数保持一致,最大不要超过3-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--是否开启HDFS的权限检查,默认是true-->
<!--使用默认值,后面自己可以改为false-->
<!--
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
-->
vi mapred-site.xml 注意:默认没有所以复制一个 cp mapred-site.xml.template mapred-site.xml
<!--MR程序运行容器或者框架-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vi yarn-site.xml
<!--配置Yarn主节点的位置,可以在从节点,但是启动要在从节点输入命令-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>HP110</value>
</property>
<!--NodeManager执行MR任务的方式是Shuffle洗牌-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
vi slaves 配置从节点地址
HP110(主节点可以不添加)
*配置历史服务器(选择配置)
为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:
1.配置mapred-site.xml
在该文件里面增加如下配置。
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>HP110:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>HP110:19888</value>
</property>
2.启动历史服务器
[root@HP110 ~]# sbin/mr-jobhistory-daemon.sh start historyserver
3.查看历史服务器是否启动
[root@HP110 ~]# jps
4.查看JobHistory
http://HP110:19888/jobhistory
*配置日志的聚集(选择配置)
日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。
注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager。
开启日志聚集功能具体步骤如下:
1.配置yarn-site.xml
在该文件里面增加如下配置。
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2.查看日志
http://HP110:19888/jobhistory
八、对HDFS的NameNode进行格式化 -----> 目录:/root/software/hadoop-2.8.5/tmp
举例:软盘,需要格式化
命令:hdfs namenode -format
日志:Storage directory /root/software/hadoop-2.8.5/tmp/dfs/name has been successfully formatted.表示格式成功
注意:重复格式化namenode之前需要删除数据tmp和日志logs
九、启动
HDFS启动:start-dfs.sh
Yarn启动: start-yarn.sh
全部启动:start-all.sh
注意:启动完成后需要输入密码,因为没有实现免密登录
十、实现免密登录
由于每次启动关闭都要输出密码就显得很麻烦,所以就先实现免密登录吧
生成公钥命令:输入ssh-keygen -t rsa 然后按三次回车
然后把公钥给自己:ssh-copy-id -i .ssh/id_rsa.pub root@HP110
十一、Web Console访问
hdfs: 端口: 50070
yarn: 端口:8088
注意:如果配置文件没有错误访问失败一般是防火墙没有关闭。