一、表的分区
大数据开发数据量较大，在进行数据查询计算时，需要对数据进行拆分，提升的查询速度
1-1 单个分区
单个分区是创建单个目录
-- 创建表指定分区，对原始数据进行分区保存
create table new_tb_user(
id int,
name string,
age int,
gender int,
create_time date
)partitioned by (gender_p int)
row format delimited fields terminated by ',';
select * from new_tb_user;
-- 将原始数据表的数据写入新的分区表中
-- 静态写入分区数据 需要手动自己指定分区数值
-- insert into new_tb_user partition(gender_p=0) select * from tb_user where gender=0
-- 动态写入分区数据
-- 可以指定一个字段数据，根据字段数据内容进行分区
set hive.exec.dynamic.partition.mode=nonstrict;
insert into new_tb_user partition(gender_p) select id,name,age,gender,create_time,gender from tb_user;
desc new_tb_user;
desc tb_user;
1-2 多个分区
多个分区可以将数据拆分多个目录存储
create table new2_tb_user(
id int,
name string,
age int,
gender int,
create_time date
)partitioned by (y string,m string,d string)
row format delimited fields terminated by ',';
select * from new2_tb_user;
insert into new2_tb_user partition(y,m,d) select id,name,age,gender,create_time,year(create_time),month(create_time),day(create_time) from tb_user limit 10;
注意点
1-分组字段不能和表中字段重名
2-动态分区数据写入时，select中字段顺序要和分区表中字段顺序一致
3-分区字段是在最后，所以select中的分区数据指定也放在最后
1-3 分区的增删改查(了解)
-- 创建一个分区表
create table tb_student(
id int,
name string,
gender string,
age int,
cls string
)partitioned by (cls_p string)
row format delimited fields terminated by ',';
-- show查看分区表的分区信息
show partitions tb_student;
-- 生成分区数据信息
-- 方式1 通过insert数据导入，生成对应的分区数据
-- 方式2 通过add方法直接指定分区，指定后会在对应表目录下生成分区目录
alter table tb_student add partition(cls_p='CS');
show partitions tb_student;
select * from tb_student;
-- 修改分区名
ALTER TABLE tb_student PARTITION(cls_p='CS') RENAME TO PARTITION(cls_p='CS2');
-- 删除分区
alter table tb_student drop partition(cls_p='CS')
二、表的分桶
分区 将数据拆分不同目录下存储
分桶 将数据拆分成不同文件进行存储
无论是分区，还是分桶，本质都是对数据的拆分存储，作用是为了提升查询的效率
2-1 分桶创建
使用分桶时，一般都是已经存在了一个原始数据表，为了提升原始数据速度，将原始数据在重新写入一个分桶表
create table tb_user_buckets(
id int,
name string,
age int,
gender int,
create_time date
) -- clustered by 指定按照哪个字段的数据进行数据的拆分 into 2 buckets 指定拆分的数量
clustered by(gender) into 2 buckets
row format delimited fields terminated by ',';
-- 将原始数据表的数据写入到分桶表
insert into tb_user_buckets select * from tb_user limit 100;
create table tb_user_buckets_new(
id int,
name string,
age int,
gender int,
create_time date
) -- clustered by 指定按照哪个字段的数据进行数据的拆分 into 2 buckets 指定拆分的数量
clustered by(gender) into 3 buckets
row format delimited fields terminated by ',';
insert into tb_user_buckets_new select * from tb_user limit 100;
2-2 分桶原理说明
数据按照hash取余的方式进行拆分，写入到不同的文件中
hash(分桶字段)%分桶数=余数
2-3 分桶主要使用场景
多表关联，为了提升多表关联的查询效率，可以将关联的表数据按照相同的关联字段，进行分桶，保持分桶个数一致，或是倍数关系，可以将系统数据放在同一个余数文件中，提升了关联效率
分桶还可以进行随机采样
可以通过随机采样减少计算量
三、数据的文件的读取和写入
hive在对hdfs上的文件数据进行读取和写入数据时，会调用的mapreudce的方法有两类
该方法叫做序列化器方法
如果使用delimited: 表示底层默认使用的Serde类:LazySimpleSerDe类来处理数据。
如果使用serde:表示指定其他的Serde类来处理数据,支持用户自定义SerDe类。
3-1 默认序列化器 delimited
在进行表定义时指定row format delimited
指定处理不同数据的方法
fields terminated by 字段的处理方法 指定如何分割字段 collection items terminated by 指定字段中数组的分割分割方式 map keys terminated by 指定map的数据分割方式
这几个方法主要对文件数据读取时，方便区分不同数据内容
I-array类型数据
对读取的数据中符合数组拆分数据转为数组
1,张三,篮球-足球,20 2,李四,羽毛球-乒乓球,20
-- 创建一个用户表
create table tb_user_new(
id int,
name string,
hobby string,
age int
)row format delimited
fields terminated by ',';
select * from tb_user_new;
-- 将兴趣字段 转为数组格式保存 [篮球,足球]
create table tb_user_new_array(
id int,
name string,
hobby array<string>,
age int
)row format delimited
fields terminated by ','-- 指定字段的分割符
collection items terminated by '-'; -- 指定字段中数组数据分割符
select * from tb_user_new_array;
II-struct类型数据
1,张三#20#男
1-先按照逗号拆分数据
2-在将张三#20#男 按照数组拆分 [张三,20,男]
3-在对数组中的数据转为map形式 {'name':张三,'age':20,'gender':男}
create table tb_user_new_struct(
id int,
`user` struct<name:string,age:int,gender:string>
)row format delimited
fields terminated by ','
collection items terminated by '#'; -- [张三,20,男]
select * from tb_user_new_struct;
III-map类型数据
1,孙悟空,53,西部大镖客:288-大圣娶亲:888-全息碎片:0-至尊宝:888-地狱火:1688 2,鲁班七号,54,木偶奇遇记:288-福禄兄弟:288-黑桃队长:60-电玩小子:2288-星空梦想:0 3,后裔,53,精灵王:288-阿尔法小队:588-辉光之辰:888-黄金射手座:1688-如梦令:1314 4,铠,52,龙域领主:288-曙光守护者:1776 5,韩信,52,飞衡:1788-逐梦之影:888-白龙吟:1188-教廷特使:0-街头霸王:888
1-按照field进行字段分割 分隔符是,
2-按照数组进行字段分割 分隔符是 - ['西部大镖客:288','大圣娶亲:888',全息碎片:0,至尊宝:888,地狱火:1688]
3-在将数组的key：value结构数据转为map {'西部大镖客':288,'大圣娶亲':888}
id | name | blood | skin |
1 | 孙悟空 | 53 | {'西部大镖客':288,'大圣娶亲':888} |
3-2 自定义序列化器
可以使用自定义序列化器中提供jar包完成对json数据的处理
可以将json文件中的数据key最为字段，将value值解析为对应的行数据
{"movie":"1293","rate":"5","timeStamp":"978298261","uid":"2"}
-- {"movie":"1293","rate":"5","timeStamp":"978298261","uid":"2"}
create table tb_movie(
movie string,
rate string,
`timeStamp` string,
uid string
)row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'; -- 指定三方的序列化器 解析json文件
select * from tb_movie;
四、内置函数
是hive提供的函数方法，方便对不同类型的字段数据进行操作
4-1 字符串操作函数
- 计算字符串长度
- length(字段)
- 字符串拼接
- concat
- concat_ws
- 字符串切割
- split(字段，'切割的字符')
- 字符串截取
- substr(create_time,起始的字符位置数,截取的字符个数)
- 字符串替换
- regexp_replace(字段,'原始字符','替换的新字符')
select * from tb_stu;
-- 计算字符串长度 统计字符个数
select name,length(name) from tb_stu;
-- 拼接多个字符换 没有拼接字符
select name,gender,concat(name,gender) from tb_stu;
select name,gender,concat_ws(':',name,gender) from tb_stu;
-- 切割 切割后的数据是数组
select create_time,split(create_time,'-') from tb_stu;
-- 数组取值
select create_time,split(create_time,'-')[0] from tb_stu;
-- 截取 取字符串中指定长度的字符数据
-- substr(create_time,起始的字符位置数,截取的字符个数)
select create_time,substr(create_time,1,4) from tb_stu;
-- 替换
select create_time,regexp_replace(create_time,'-','/') from tb_stu;
-- 方法嵌套使用
-- trim 去除字符串的前后空格 ' 张三 '
select create_time,substr(trim(name),1,4) from tb_stu
4-2 数值操作函数
select 1+1;
select 1-1;
select 1*10;
select 2%5;
select round(3.12);
select round(3.1214,2);
select round(3.1294,2);
-- 向上取整数
select ceil(3.14);
-- 向下取整数
select floor(3.14);
-- 次方计算
select pow(2,3);
4-3 条件判断函数
-- if判断
-- if(判断条件,成立返回的结果,不成立返回的结果) 单个条件判断
select gender,if(gender=0,'男','女') from tb_user;
-- 多个分类条件判断 case when
-- 10-18 少年 18-40 青年 40-65 中年 大于 65 老年
select age,
case
when age <=18 then '少年'
when age >18 and age <=40 then '青年'
when age >40 and age <=65 then '中年'
when age >65 then '老年'
end as age_new
from tb_user;
-- 查看方法的使用形式
desc function extended nullif;
