今天做了极限测试,七个多小时的时间,做数据的导入,清洗,分析,导出,可视化。我做到了导出这一步,可视化还没做,计划明天找个时间把可视化的部分做了。

下面是极限测试的要求与我的操作步骤和流程:

要求:

1、数据导入:
要求将样表文件中的(sales_sample_20170310)数据导入 HIVE 数据仓库中。
2、数据清洗:
要求将 day_id 一列中的数值清洗为真实的日期格式,可用字符串表示。
数据 1 对应日期 2021-09-01,依次类推,15 对应日期 2021-09-15
3、数据分析处理:
(1)统计每天各个机场的销售数量和销售金额。
要求的输出字段
day_id,sale_nbr,,cnt,round
日期编号,卖出方代码,数量,金额
(2)统计每天各个代理商的销售数量和销售金额。
要求的输出字段
day_id,sale_nbr,,cnt,round
日期编号,卖出方代码,数量,金额
(3)统计每天各个代理商的销售活跃度。
要求的输出字段
day_id,sale_nbr, sale_number
日期编号,卖出方代码,交易次数(买入或者卖出均算交易次数)
(4)汇总统计 9 月 1 日到 9 月 15 日之间各个代理商的销售利润。
编号,卖出方代码,买入数量,买入金额,卖出数量,卖出金额,销售利润(卖出
金额-买入金额)
(5)设计分析代理商的市场地位根据市场交易次数、交易对象个数、销售机票数量、
销售利润等。(选做题)
4、处理结果入库:
将上述统计分析的结果数据保存到 mySQL 数据库中。 第 3 页 共 9 页
5、数据可视化展示:
利用 Echarts 将上述统计结果以图形化展示的方式展现出来:饼图、柱状图、地图、折
线图等。

我的处理步骤:

先打开三台虚拟机:

极限测试---数据的导入,清洗,分析,导出,可视化(sale表)_数据导入

 

 

 然后用xshell连接:

极限测试---数据的导入,清洗,分析,导出,可视化(sale表)_hive_02

 

 

 打开dfs

极限测试---数据的导入,清洗,分析,导出,可视化(sale表)_字段_03

 

 

 开启hive的两个服务:

极限测试---数据的导入,清洗,分析,导出,可视化(sale表)_字段_04

 

 

 进入hive:

极限测试---数据的导入,清洗,分析,导出,可视化(sale表)_hive_05

 

 

 在hive里面建表:

create table test0 (day_id string,sale_nbr  string,buy_nbr  string,cnt  string,round string) ROW format delimited fields terminated by ',' STORED AS TEXTFILE;

极限测试---数据的导入,清洗,分析,导出,可视化(sale表)_数据导入_06

 

 导入数据:

load data local inpath '/opt/software/sale.csv' into table test0;

然后进行清洗:把日期清洗成标准格式:

insert overwrite table test0 select date_add('2021-09-00',cast(day_id as int)) as day_id,
sale_nbr as sale_nbr,buy_nbr as buy_nbr,cnt as cnt,round as round from test0;

极限测试---数据的导入,清洗,分析,导出,可视化(sale表)_数据导入_07

 

 导出:

bin/sqoop export \
--connect jdbc:mysql://192.168.10.102:3306/user \
--username root \
--password 123456 \
--table wenti7 \
--num-mappers 1 \
--export-dir /user/hive/warehouse/dao1 \
--input-fields-terminated-by ","

极限测试---数据的导入,清洗,分析,导出,可视化(sale表)_字段_08

 

 这样就做好到导出数据了;明天计划进行可视化操作。