051 日志案例分析（PV，UV），以及动态分区

1.实现的流程

　　需求分析

　　　　时间：日，时段

　　　　分区表：两级

　　　　PV

　　　　UV

　　数据清洗

　　　　2015-08-28 18：19：10

　　　　字段：id,url,guid,tracktime

　　数据分析

　　导出

2.新建源数据库

　　

 

3.新建表

　　

 

4.加载原始数据

　　

5.查看部分结果

　　

 

6.建立清洗数据表（方便下面的分区表的建立）

　　

　　

 

7.为清洗表加载数据

　　

8.展示部分清洗过后的数据

　　

 

9.建立分区表

　　

 

10.加载数据

　　

 

11.展示部分结果

　　

 

二：动态分区表的建立

12.动态分区的配置修改　

　　<property>
　　　　<name>hive.exec.dynamic.partition</name>
　　　　<value>true</value>      ---》》默认是true，不需要再修改
　　　　<description>Whether or not to allow dynamic partitions in DML/DDL.</description>
　　</property>

　　<property>
　　　　<name>hive.exec.dynamic.partition.mode</name>
　　　　<value>nonstrict</value>
　　</property>

　　

 

13.新建分区表

　　

 

14.加载数据

　　

 

15.查看部分结果

　　

 

 

三：数据分析，实现需求

16.实现需求

　　

 

17.把结果存入result中

　　

 

17.导出数据进入mysql

　　1.新建表

　　

　　2.整体输出结果

　　

　　3.查看结果（mysql中）