hive安装配置与详解
- Hive原理
- 概述
- HQL与SQL
- Hive 结构
- hive安装步骤
- Hive数据类型
- 原始类型
- 复杂数据类型
- Hive元数据结构
- 数据表
- 表类型
- Hive建表语句
- Hive-Storage SerDe
- Hive建表高阶语句
- Hive-分区
- 意义
- 静态分区使用
- 动态分区
- Hive-分桶
- 视图View
- 侧视图Lateral View
Hive原理
概述
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hvie是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语句，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。
由于Hive采用了SQL的查询语言HQL，因此很容易将Hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述Hive和数据库的差异。数据库可以用在Online的应用中，但是Hive是为数据仓库而设计的，清楚这一点，有助于从应用角度理解Hive的特性。
HQL与SQL
查询语言 | HQL | SQL |
数据存储位置 | HDFS | Raw Device或者Local FS |
数据格式 | 用户定义 | 系统决定 |
数据更新 | 不支持 | 支持 |
索引 | 无 | 有 |
执行 | Mapreduce | Executor |
执行延迟 | 高 | 低 |
可扩展性 | 高 | 低 |
数据规模 | 大 | 小 |
- 查询语言: 由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。
- 数据存储位置: Hive是建立在Hadoop之上的，所有Hive的数据都是存储在HDFS中的。而数据库则可以将数据保存在块设备或者本地文件系统中。
- 数据格式: Hive中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符(通常为空格、"\t"、"\x001")、行分隔符("\n")以及读取文件数据的方法(Hive中默认有三个文件格式TextFile、SequenceFile以及RCFile)。由于在加载数据的过程中，不需要从用户数据格式到Hive定义的数据格式的转换，因此，Hive在加载的过程中不会对数据本身进行任何修改，而只是将数据内容复制或者移动到相应的HDFS目录中。而在数据库中，不同的数据库有不同的存储引擎，定义了自己的数据格式。所有数据都会按照一定的组织存储，因此，数据库加载数据的过程会比较耗时。
- 数据更新： 由于Hive是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用INSERT INTO…VALUES添加数据，使用UPDATE…SET修改数据。
- 索引: 之前已经说过，Hive在加载数据的过程中不会对数据进行任何处理，甚至不会对数据进行扫描，因此也没有对数据中的某些Key建立索引。Hive要访问数据中满足条件的特定值时，需要暴力扫描整个数据，因此访问延迟较高。由于MapReduce的引入，Hive可以并行访问数据，因此即使没有索引，对于大数据量的访问，Hive仍然可以体现出优势。数据库中，通常会针对一个或几个列建立索引，因此对于少量的特定条件的数据的访问，数据库可以有很高的效率，较低的延迟。由于数据的访问延迟较高，决定了Hive不适合在线数据查询。
- 执行： Hive中大多数查询的执行是通过Hadoop提供的MapReduce来实现的(类似select * from tbl的查询不需要MapReduce)。而数据库通常有自己的执行引擎。
- 执行延迟： 之前提到，Hive在查询数据的时候，由于没有索引，需要扫描整个表，因此延迟较高。另外一个导致Hive执行延迟高的因素是MapReduce框架。由于MapReduce本身具有较高的延迟，因此在利用MapReduce执行Hive查询时，也会有较高的延迟。相对的，数据库的执行延迟较低。当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive的并行计算显然能体现出优势。
- 可扩展性： 由于Hive是建立在Hadoop之上的，因此Hive的可扩展性是和Hadoop的可扩展性是一致的。而数据库由于ACID语义的严格限制，扩展性非常有限。目前最先进的并行数据库Oracle在理论上的扩展能力也只有100台左右。
- 数据规模： 由于Hive建立在集群上并可以利用MapReduce进行并行计算，因此可以支持很大规模的数据；对应的，数据库可以支持的数据规模较小。
Hive 结构
hive安装步骤
- 前置安装hadoop 以及 zookeeper(这里安装了hadoop2.7.3及zookeeper3.4.6)
- 安装mysql数据库
a) yum install mysql-server(安装)
b) service mysqld start(启动服务)
c) mysql –u root –p (首次登陆密码是空)
d) 修改mysql登陆密码
*use mysql;
select host,user,password from user;
delete from user where user=’’ //删除所有空用户
update user set password=password(‘你的密码’) where user=’root’
flush privileges;//刷新权限
grant all privileges on . to ‘root’@’ip地址’ identified by ‘密码’//此步骤如果mysql与hive不在同一台机器上才会使用 - 安装hive
a) tar –zxvf apache-hive-1.2.2.bin.tar.gz
mv apache-hive-1.2.2.bin hive -->解压修改文件名
b) mkdir /opt/software/hive/warehouse
<!--配置环境变量-->
c) vi /etc/profileexport HIVE_HOME=/opt/software/hive
export PATH=$PATH:$HIVE_HOME/binhive-env.xml
d) cp hive-default.xml.template hive-site.xml(此文件在apache-hive-1.2.2-bin/conf)
e) vi hive-site.xml
i. 删除里面内容，只留<configuration></configuration> 节点hive-site.xml
<!-- 在configuration中加入配置 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/opt/software/hive/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<!-- 如果是远程mysql数据库的话需要在这里写入远程的IP或hosts -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.56.12:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>ok</value>
</property>f) 下载mysql驱动包存放到/opt/software/hive/lib下
g) 重新启动系统
i. 按顺序启动 hadoop -> zookeeper -> mysql -> hive(看到hive提示符号就ok)
1. start-all.sh
2. zkServer.sh start
3. service mysqld start
4. Hive / beeline -u "jdbc:hive2://192.168.56.12:10000"(开启hiveserver2)Hive数据类型
原始类型
复杂数据类型
Hive元数据结构
数据表
表类型
- 外部表：删除表时，只会删除元数据信息，而不对真实数据进行修改
- 内部表：也叫管理表，删除表时，会对元数据和真实数据一起删除。
Hive建表语句
create external table employee(
name string,
address array<string>,
genderAndAge struct<gender:string,age:int>,
jobAndSalary map<string,int>,
depAndLvl map<string,string>
)
row format delimited
fields terminated by '|'
collection items terminated by ','
map keys terminated by ':'
lines terminated by '\n'
stored as TextFile
location "/test/data/emp";Hive-Storage SerDe
SerDe是Serialize/Deserilize的简称，目的是用于序列化和反序列化。
序列化作用：
序列化是对象转换为字节序列的过程。
反序列化是字节序列恢复为对象的过程。
对象的序列化主要有两种用途：对象的持久化，即把对象转换成字节序列后保存到文件中；对象数据的网络传送。
除了上面两点， hive的序列化的作用还包括：Hive的反序列化是对key/value反序列化成hive table的每个列的值。Hive可以方便的将数据加载到表中而不需要对数据进行转换，这样在处理海量数据时可以节省大量的时间。
SerDe使用：
hive创建表时， 通过自定义的SerDe或使用Hive内置的SerDe类型指定数据的序列化和反序列化方式。
SerDe包括内置类型：
Avro
ORC
RegEx
Thrift
Parquet
CSV
JsonSerDe
create external table customer(
cid string,
begin_date string,
mixmum_cust_no string,
mixmum_cust_name string,
cust_org string,
cust_dep string,
trade_account_id string,
cust_nama string,
pre_tarde_id string,
his_trade_id string,
pre_tarde_type string,
good_name string,
trade_type_1 string,
trade_type_2 string,
min_trade_money string,
max_trade_money string,
number_of_goods string,
pre_trade_money string,
actual_trade_money string,
pre_trade_status string,
end_date string
)
row format SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
with serdeproperties (
"separatorChar"=",",
"quotChar"="'",
"escapeChar"="\\",
"serialization.encoding"="GBK"
)
stored as TextFile
location "/test/data/customer";Hive建表高阶语句
1.CTAS-as select方式建表
create table employee_ctas as select * from employee2.CTE（CTAS with Common Table Expression）
create table employee_cte as
with
r1 as (select ...),
r2 as (select...),
r3 as (select ...)
select * from r1 join r2 join r3;3.like
create table employee_like like employee;Hive-分区
意义
其意义主要在于优化查询，对于分区表，我们一般都要求使用分区字段进行过滤，以加快查询速度。
静态分区使用
建表时指定分区（其中分区在hdfs上表现为文件夹分类管理形式）
create table cust_partition(
cid string,
begin_date string,
trade_account_id string,
cust_nama string,
pre_tarde_id string,
his_trade_id string,
pre_tarde_type string,
good_name string,
trade_type_1 string,
trade_type_2 string,
number_of_goods string,
pre_trade_money string,
actual_trade_money string,
pre_trade_status string,
end_date string
)
partitioned by (name string)
row format delimited
fields terminated by ','
lines terminated by '\n';在已有的表上添加分区
insert into cust_partition partition(name)
select
cid,
begin_date,
trade_account_id,
cust_nama,
pre_tarde_id,
his_trade_id,
pre_tarde_type,
good_name,
trade_type_1,
trade_type_2,
number_of_goods,
pre_trade_money,
actual_trade_money,
pre_trade_status,
end_date,
cust_nama as name
from customer;动态分区
开启支持动态分区
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nostrict;
默认：strict（至少有一个分区列是静态分区）相关参数
set hive.exec.max.dynamic.partitions.pernode;
每一个执行mr节点上，允许创建的动态分区的最大数量(100)
set hive.exec.max.dynamic.partitions;
所有执行mr节点上，允许创建的所有动态分区的最大数量(1000)
set hive.exec.max.created.files;
所有的mr job允许创建的文件的最大数量(100000)
set yarn.scheduler.minimum-allocation-mb=4096;
虚拟内存值
set hive.mapred.mode=nonstrict;Hive-分桶
- 分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储。
对于hive中每一个表、分区都可以进一步进行分桶。
由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。 - 适用场景：
数据抽样（ sampling ）、map-join
开启支持分桶
set hive.enforce.bucketing=true;
默认：false；设置为true之后，mr运行时会根据bucket的个数自动分配reduce task个数。（用户也可以通过mapred.reduce.tasks自己设置reduce任务个数，但分桶时不推荐使用）
注意：一次作业产生的桶（文件数量）和reduce task个数一致。创建分桶表
create table cust_bucket(
cid string,
begin_date string,
trade_account_id string,
cust_nama string,
pre_tarde_id string,
his_trade_id string,
pre_tarde_type string,
good_name string,
trade_type_1 string,
trade_type_2 string,
number_of_goods string,
pre_trade_money string,
actual_trade_money string,
pre_trade_status string,
end_date string
)
clustered by (trade_account_id) into 8 buckets
row format delimited
fields terminated by ','
lines terminated by '\n';加载数据
insert into cust_bucket
select
cid,
begin_date,
trade_account_id,
cust_nama,
pre_tarde_id,
his_trade_id,
pre_tarde_type,
good_name,
trade_type_1,
trade_type_2,
number_of_goods,
pre_trade_money,
actual_trade_money,
pre_trade_status,
end_date
from customer;抽样
select id, name, age from tb_name tablesample(bucket 1 out of 2 on age);
一共4个桶，抽取2（4/2）个bucket的数据，抽取第1、第3（1+2）个bucket的数据视图View
和mysql视图一样创建，删除，查看
侧视图Lateral View
Lateral View和UDTF类功能函数一起使用，表中的每一行和UDTF函数输出的每一行进行连接，生成一张新的虚拟表，可以对UDTF产生的记录设置字段名称，新加的字段可以使用在sort by,group by等语句中，不需要再套一层子查询。Lateral View的作用是可以扩展原来的表数据。
示例准备
# 创建表
create table lateral_test(
name string,
course string,
hobby string
)
row format delimited
fields terminated by '\t'
lines terminated by '\n';
# 样例数据
[root@wadeyu ~]# cat lateral_test.log
wadeyu c1,c2,c3 basketball,tennis
tom c2,c3,c5 swimming,trip
polly c1,c2,c3 sz
# 查询数据
0: jdbc:hive2://> select * from lateral_test;
OK
+--------------------+----------------------+---------------------+--+
| lateral_test.name | lateral_test.course | lateral_test.hobby |
+--------------------+----------------------+---------------------+--+
| wadeyu | c1,c2,c3 | basketball,tennis |
| tom | c2,c3,c5 | swimming,trip |
| polly | c1,c2,c3 | sz |
+--------------------+----------------------+---------------------+--+
3 rows selected (0.511 seconds)示例一：单个Lateral View
select
name,
course,
t_hobby.hobby
from lateral_test
lateral view explode(split(hobby, ',')) t_hobby as hobby;
OK
+---------+-----------+----------------+--+
| name | course | t_hobby.hobby |
+---------+-----------+----------------+--+
| wadeyu | c1,c2,c3 | basketball |
| wadeyu | c1,c2,c3 | tennis |
| tom | c2,c3,c5 | swimming |
| tom | c2,c3,c5 | trip |
| polly | c1,c2,c3 | sz |
+---------+-----------+----------------+--+
5 rows selected (0.535 seconds)示例二：多个Lateral View
select
name,
t_course.course,
t_hobby.hobby
from lateral_test
lateral view explode(split(course, ',')) t_course as course
lateral view explode(split(hobby, ',')) t_hobby as hobby;
+---------+------------------+----------------+--+
| name | t_course.course | t_hobby.hobby |
+---------+------------------+----------------+--+
| wadeyu | c1 | basketball |
| wadeyu | c1 | tennis |
| wadeyu | c2 | basketball |
| wadeyu | c2 | tennis |
| wadeyu | c3 | basketball |
| wadeyu | c3 | tennis |
| tom | c2 | swimming |
| tom | c2 | trip |
| tom | c3 | swimming |
| tom | c3 | trip |
| tom | c5 | swimming |
| tom | c5 | trip |
| polly | c1 | sz |
| polly | c2 | sz |
| polly | c3 | sz |
+---------+------------------+----------------+--+
15 rows selected (0.521 seconds)
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
