Hadoop是一个开发和运行处理大规模数据的平台,实现在多台计算机组成的集群中对海量数据进行分布式计算。
hadoop框架最核心的部分是hdfs和mapreduce。hdfs提供了海量数据的存储,mapreduce提供了对数据的计算。
hadoop处理海量数据,需要hbase做数据库,hbase是面向列的分布式数据库,使用集群环境的内存做处理,但是不支持sql语句,所以操作和计算数据非常不方便,于是整合hive,hive支持sql语句,让hive支撑在hbase数据库层面的查询。
下面介绍hadoop+hbase+hive的环境部署:
一、Hadoop框架
hadoop使用主/从(master/slave)架构,主要由NameNode,DataNode,secondary NameNode,JobTracker,TaskTracker组成。
其中,NameNode,secondary NameNode,JobTracker运行在Master节点上,DataNode和TaskTracker运行在Slave节点上。
NameNode:HDFS的守护程序,负责记录文件是如何分割成数据块的,以及这些数据块被存储到哪些数据节点上。
DataNode:集群中每个从服务器都运行一个DataNode后台程序,后台程序负责把HDFS数据块读写到本地文件系统。需要读写数据时,由NameNode告诉客户端去哪个DataNode进行具体的读写操作。
secondary NameNode:用来监控HDFS状态的辅助后台程序,如果NameNode发生问题,可以使用Secondary NameNode作为备用的NameNode。
JobTracker:用来连接应用程序与Hadoop,用户应用提交到集群后,由JobTracker决定哪个文件处理哪个task执行,一旦某个task失败,JobTracker会自动开启这个task。
TaskTracker:负责存储数据的DataNode相结合,位于从节点,负责各自的task。
1)准备工作:
4台独立的主机
一台为master,其余3台为slave。
操作系统均为CentOS 5.8,jdk均安装同个版本同个目录,配置好/etc/profile。
为避免权限问题导致无法使用,以下操作均使用了root账号操作。如果是其他账号操作,要确保同个账号对每台主机相同目录的操作权限一致。
2)做好master到slave的免登录:
在master上依次操作:
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 644 authorized_keys
然后将 id_rsa.pub authorized_keys id_rsa,拷到其它机器上,注意文件的权限与目录的权限:
scp id_rsa.pub authorized_keys id_rsa root@XXX:~/.ssh
scp id_rsa.pub authorized_keys id_rsa root@XXX:~/.ssh
scp id_rsa.pub authorized_keys id_rsa root@XXX:~/.ssh
3)每台机器配置hosts:
XXX.XXx.XXx.XX master
XXX.XXx.XXx.XX slave2
XXX.XXx.XXx.XX slave1
XXX.XXx.XXx.XX slave3
4)每台机器配置对应的hostname:
如master节点,打开/etc/sysconfig/network:
NETWORKING=yes
HOSTNAME=master
其他从节点的hostname分布配置成对应的slave1、slave2、slave3
5)创建相关数据目录:
如hadoop存放目录为/home/hadoop2,将hadoop安装到该目录下。具体配置如下:
- 在每个节点上创建程序存储目录/home/hadoop2,用来存放Hadoop程序文件
- 在每个节点上创建数据存储目录/home/hadoop2/hdfs,用来存放集群数据
- 在主节点上创建目录/home/hadoop2/hdfs/name,用来存放文件系统元数据
- 在每个从节点上创建目录/home/hadoop2/hdfs/data,用来存放真正的数据
- 所有节点上的日志目录为/home/hadoop2/logs
- 所有节点上的临时目录为/home/hadoop2/tmp
6)每台机器配置环境变量:
export HADOOP_HOME=/home/hadoop2/hadoop-2.5.0-cdh5.3.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
7)hadoop配置文件:
配置文件所在目录为/home/hadoop2/hadoop-2.5.0-cdh5.3.2/etc/hadoop
a、配置core-site.xml
b、配置hdfs-site.xml
c、配置yarn-site.xml
d、配置mapred-site.xml
e、配置hadoop-env.sh、yarn-env.sh、mapred-env.sh脚本,修改每个脚本的JAVA_HOME为当前系统的JAVA_HOME
f、修改slaves文件
8)同步程序文件到从节点:
在master将上面配好的文件复制到各个节点对应的目录:
scp -r /home/hadoop2 root@slave1:/home/hadoop2/scp -r /home/hadoop2 root@slave2:/home/hadoop2/
scp -r /home/hadoop2 root@slave3:/home/hadoop2/
9)确保每台机器的防火墙关闭:
service iptables stop
10)格式化文件系统:
hadoop namenode -format
hadoop datanode -format
11)启动hdfs集群:
start-dfs.sh
可以访问http://master:50070,查看hdfs集群状态
12)启动yarn集群:
start-yarn.sh
可以访问http://master:8099,查看yarn集群状态
也可以直接使用start-all.sh脚本启动,该脚本包含了hdfs和yarn两个集群的启动。
二、Hbase
在master上操作,将hbase安装到/home/hadoop2目录下。
1)修改配置文件:
配置文件所在目录为/home/hadoop2/hbase-1.0.0-cdh5.4.8/conf
a、配置hbase-site.xml
<configuration>
<!-- hbase存放数据目录 -->
<property>
<name>hbase.rootdir</name>
<value>file:///data/soft/hbase-2.2.1/hbase</value>
</property>
<!-- ZooKeeper数据文件路径 -->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/data/soft/hbase-2.2.1/zookeeper</value>
</property>
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
<description>
Controls whether HBase will check for stream capabilities (hflush/hsync).
Disable this if you intend to run on LocalFileSystem, denoted by a rootdir
with the 'file://' scheme, but be mindful of the NOTE below.
WARNING: Setting this to false blinds you to potential data loss and
inconsistent system state in the event of process and/or node failures. If
HBase is complaining of an inability to use hsync or hflush it's most
likely not a false positive.
</description>
</property>
</configuration>
b、配置hbase-env.sh脚本,修改脚本的JAVA_HOME为当前系统的JAVA_HOME
export JAVA_HOME=/data/soft/jdk1.8.0_181/
c、配置regionservers
2)同步程序文件到从节点:
在master将上面配好的文件复制到各个节点对应的目录:
scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave1:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave2:/home/hadoop2/hbase-1.0.0-cdh5.4.8/scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave3:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
3)每台机器配置环境变量:
export HBASE_HOME=/home/hadoop2/hbase-1.0.0-cdh5.4.8
export PATH=$PATH:$HBASE_HOME/bin
4)启动hbase集群:
start-hbase.sh
三、Hive
在master上操作,将hive安装到/home/hadoop2目录下。
1)修改配置文件:
配置文件所在目录为/home/hadoop2/hive-0.13.1-cdh5.3.2/conf
a、配置hive-site.xml
b、配置hive-env.sh脚本
2)配置环境变量:
export HIVE_HOME=/oracle/hadoop2/hive-0.13.1-cdh5.3.2
export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf
3)启动hive:
进入/home/hadoop2/hive-0.13.1-cdh5.3.2/bin
nohup hiveserver2 &
以上,一个可以运行的环境就安装好了,可以在hive和hbase中创建自己需要的数据。