通过最佳实践帮助您实现上述案例效果

Step1:准备工作

1.1 新建表

1.1.1 开通MaxCompute
 

https://img.alicdn.com/tps/TB1TxkNOVXXXXaUaXXXXXXXXXXX-1124-472.png" width="836">

https://img.alicdn.com/tps/TB1qRw3OVXXXXX_XFXXXXXXXXXX-1243-351.png" width="836">

https://img.alicdn.com/tps/TB1gvgQOVXXXXXUXVXXXXXXXXXX-1208-337.png" width="836">

1.1.2 数加上创建MaxCompute project

操作步骤:

步骤1: 进入数加管理控制台,前面开通MaxCompute成功页面,点击管理控制台,或者导航产品->大数据(数加)->MaxCompute 点击管理控制台。

https://img.alicdn.com/tps/TB1G7o4OVXXXXXEXFXXXXXXXXXX-1281-473.png" width="836">

步骤2: 创建项目。付费模式选择I/O后付费,输入项目名称:

https://img.alicdn.com/tps/TB1SY78OVXXXXcqXpXXXXXXXXXX-1347-590.png" width="836">

步骤3: 创建MaxCompute表。进入大数据开发套件的数据开发页面:

以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

如何从0搭建数据分析体系 数据分析系统搭建_大数据

创建脚本文件。点击顶部菜单栏中的数据开发,点击“新建”处新建脚本,也可直接点击“新建脚本”任务框

编辑建表语句

—-创建在线交易表:
CREATE TABLE IF NOT EXISTS demo_dplus_good_sale (
    create_time     DATETIME COMMENT '时间',
    good_cate       STRING COMMENT '商品种类',
    brand           STRING COMMENT '品牌',
    buyer_id        STRING COMMENT '用户id',
    trans_num       BIGINT COMMENT '交易量',
    trans_amount    DOUBLE COMMENT '金额',
    click_cnt       BIGINT COMMENT '点击次数',
    addcart_cnt     BIGINT COMMENT '加入购物车次数',
    collect_cnt     BIGINT COMMENT '加入收藏夹次数'
);
 
—-创建用户信息表:
CREATE TABLE IF NOT EXISTS demo_dplus_buyer (
    buyer_id        STRING COMMENT '用户id',
    buyer_prov      STRING COMMENT '省份',
    gender          STRING COMMENT '性别',
    age_range       STRING COMMENT '年龄段',
    zodiac          STRING COMMENT '星座'
);
 
--结果数据存储表:
--涵盖绝大多数维度和指标的汇总表:
CREATE TABLE IF NOT EXISTS demo_dplus_summary (
    prov            STRING COMMENT '省份',
    gender          STRING COMMENT '性别',
    age_range       STRING COMMENT '年龄段',
    zodiac          STRING COMMENT '星座',
       good_cate        STRING COMMENT '商品种类',
    brand           STRING COMMENT '品牌',
    trans_num       BIGINT COMMENT '交易量',
    trans_amount    DOUBLE COMMENT '金额',
    click_cnt       BIGINT COMMENT '点击次数',
    addcart_cnt     BIGINT COMMENT '加入购物车次数',
    collect_cnt     BIGINT COMMENT '加入收藏夹次数'
 
);
 
--用户数的汇总表:
 
CREATE TABLE IF NOT EXISTS demo_dplus_buyer_cnt (
    buyer_cnt       BIGINT COMMENT '用户数'
 
);

https://img.alicdn.com/tps/TB1MJwwOVXXXXaUaFXXXXXXXXXX-953-844.png" width="836">

1.2 新建数据源

1.2.1 以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

1.2.2 点击顶部菜单栏中的项目管理,点击左侧导航数据源管理

1.2.3 点击新增数据源

https://img.alicdn.com/tps/TB1hMssOVXXXXaBaFXXXXXXXXXX-1271-655.png" width="836">

RDS环境

RDS实例ID:rm-uf635k52032xm03l0

RDS实例购买者ID:1811270634786818

数据库名:trainning_db1

用户名:ram_trainning1

密码:ram_trainning1

1.2.4 点击测试连通性。

1.2.5 若测试连通性成功,则点击保存按钮完成配置信息保存。

1.3 新建任务

1.3.1 在“数据开发”界面的工具栏中,新建任务

1.3.2 在新建任务弹出框中填写各配置项

https://img.alicdn.com/tps/TB1nCkyOVXXXXcnapXXXXXXXXXX-799-547.png" width="836">

1.3.3 点击创建

Step2:数据导入

2.1 导入本地用户信息表到demo_dplus_buyer

 

2.1.1 以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

2.1.2 点击顶部菜单栏中的数据开发,导航至“导入”,选择导入本地数据

2.1.3 选择本地数据文件,配置导入信息,点击下一步

https://img.alicdn.com/tps/TB1vc.xOVXXXXclapXXXXXXXXXX-791-661.png" width="836">

2.1.4 选择目标表,并选择字段匹配方式(本示例选择按位置匹配),点击导入

https://img.alicdn.com/tps/TB17Kw_OVXXXXaQXpXXXXXXXXXX-793-478.png" width="836">

2.1.5 文件导入成功后,系统右上角将提示文件导入成功,同时可以执行read语句查看数据

https://img.alicdn.com/tps/TB17xAYOVXXXXa3XFXXXXXXXXXX-603-531.png" width="836">

2.2 同步数据

2.2.1 新建数据同步节点rds_to_maxcompute

进入数据开发中的新建任务,向工作流设计器中拖入数据同步节点

2.2.2 同步rds中在线交易表数据到demo_dplus_good_sale表

 

双击数据同步进入数据同步节点配置界面

https://img.alicdn.com/tps/TB1ZkE6OVXXXXbZXpXXXXXXXXXX-981-656.png" width="836">

https://img.alicdn.com/tps/TB1l7Z_OVXXXXbEXXXXXXXXXXXX-925-493.png" width="836">

Step3:数据加工

3.1 新建ODPS_SQL节点进行数据加工“交易分析”并写入数据

3.1.1 新建ODPS_SQL节点

进入数据开发中的新建任务,向工作流设计器中拖入ODPS_SQL节点

https://img.alicdn.com/tps/TB1Zck1OVXXXXX8XFXXXXXXXXXX-786-337.png" width="836">

3.1.2 双击ODPS_SQL,编写SQL语句将加工好的结果写入demo_dplus_summary表,运行成功后保存

\----汇总表,涵盖维度省份、性别、年龄段、星座、商品种类、品牌,涵盖指标销售量、销售额、点击次数、加入购物车次数、加入收藏夹次数

INSERT OVERWRITE TABLE demo_dplus_summary
SELECT buyer.buyer_prov
       , buyer.gender
       , buyer.age_range
       , buyer.zodiac
       , sale.good_cate
       , sale.brand
    , SUM(sale.trans_num) AS trans_num
    , SUM(sale.trans_amount) AS trans_amount
        , SUM(sale.click_cnt) AS click_cnt
        , SUM(sale.addcart_cnt) AS addcart_cnt
        , SUM(sale.collect_cnt) AS collect_cnt
FROM demo_dplus_good_sale sale
JOIN demo_dplus_buyer buyer
ON sale.buyer_id = buyer.buyer_id
GROUP BY buyer.buyer_prov,buyer.gender,buyer.age_range,buyer.zodiac,sale.good_cate,sale.brand
;

https://img.alicdn.com/tps/TB1basAOVXXXXaFapXXXXXXXXXX-711-420.png" width="836">

3.2 新建ODPS_SQL节点进行数据加工“用户数”并写入数据

3.2.1 新建ODPS_SQL节点

进入数据开发中的新建任务,向工作流设计器中拖入ODPS_SQL节点

3.2.2 双击ODPS_SQL,编写SQL语句将加工好的结果写入demo_dplus_buyer_cnt表,运行成功后保存

\----用户数汇总表

INSERT OVERWRITE TABLE demo_dplus_buyer_cnt
SELECT count(distinct buyer_id) AS buyer_cnt
FROM demo_dplus_good_sale;

3.3 设置调度属性

首先用线将工作流节点连接,表示节点执行先后顺序

https://img.alicdn.com/tps/TB1Kt3DOVXXXXcLaXXXXXXXXXXX-484-199.png" width="484">

然后点击右侧导航栏调度属性,设置整个工作流的调度属性,让每日的数据导入、加工自动执行

https://img.alicdn.com/tps/TB1p.3zOVXXXXXMapXXXXXXXXXX-420-658.png" width="420">

3.4 提交任务,并测试工作流

3.4.1 点击顶部菜单栏提交

https://img.alicdn.com/tps/TB1aaU5OVXXXXbsXpXXXXXXXXXX-801-513.png" width="836">

3.4.2 提交成功后点击测试运行

测试任务触发成功后,点击“前往运维中心”即可查看任务进度。

https://img.alicdn.com/tps/TB1R6sGOVXXXXXhapXXXXXXXXXX-1258-831.png" width="836">

Step4:数据展现

4.1.1 新建BI数据源

进入QuickBI首页,在屏幕中间点击管理控制台,就可以进入QuickBI系统新建数据源

https://img.alicdn.com/tps/TB1I.wxOVXXXXcWapXXXXXXXXXX-1079-664.png" width="836">

4.1.2 创建数据集

刚才创建好的数据源rds_demo下的表的列表 如下图所示:

https://img.alicdn.com/tps/TB1Fj0hPXXXXXXtXXXXXXXXXXXX-1196-719.png" width="836">

依次点击下面两张表后面的新建数据集按钮,创建每个表对应的数据集:

涵盖绝大多数维度和指标的汇总表:demo_dplus_summary

用户数的汇总表:demo_dplus_buyer_cnt

创建成功后会自动跳转到数据集列表,如下图所示:

https://img.alicdn.com/tps/TB1RtNaPXXXXXb3XXXXXXXXXXXX-1084-313.png" width="836">

由于MaxCompute的主要功能是支持离线计算,为了提升查询性能,可通过加速功能对数据集进行加速。点击对应数据集后的“设为极速”,如图所示:

https://img.alicdn.com/tps/TB1KDM8OVXXXXaIXpXXXXXXXXXX-1260-649.png" width="836">

4.2 数据展现

老板想要看的指标
1.销售总额、总交易量、总点击次数、总加入购物车次数、总加入收藏夹次数用户总数和;
2.各省交易量和交易金额;
3.销售交易量和销售金额top10商品种类;
4.销售交易量和销售金额top5手机品牌
5.用户购买能力分布(性别、星座、年龄段)

数据展现效果如下

如何从0搭建数据分析体系 数据分析系统搭建_数据_02

4.2.1 销售总额、总交易量、总点击次数等数据展示

1.创建仪表板

 

https://img.alicdn.com/tps/TB1RAXdPXXXXXaoXXXXXXXXXXXX-814-294.png" width="836">

2.将左侧列布局拖入仪表板,设置列数量为6

https://img.alicdn.com/tps/TB1PcM6OVXXXXc1XpXXXXXXXXXX-1270-382.png" width="836">

3.将指标看板分别拖入6个列布局中展示每一个指标

https://img.alicdn.com/tps/TB166wGOVXXXXbsaXXXXXXXXXXX-1259-505.png" width="836">

4.分别点击前五个指标看板在右侧依次设置数据和样式(度量每个指标看板选一个)

如何从0搭建数据分析体系 数据分析系统搭建_数据库_03

5.第六个指标看板要改变数据集

https://img.alicdn.com/tps/TB1W6ozOVXXXXb9apXXXXXXXXXX-264-540.png">

6.点击更新图表,结果如下:

如何从0搭建数据分析体系 数据分析系统搭建_数据_04

4.2.2 各省交易量和交易金额的数据展示

1.点击左侧导航栏作品,选择新建-->新建工作表,进入数据集页面

2.选择数据集demo_dplus_summary,点击其后面的分析按钮

https://img.alicdn.com/tps/TB1Kxk0OVXXXXbXXFXXXXXXXXXX-1199-123.png" width="836">

3.点击工作表页面左上角的“编辑数据集”,将省份类型切换为省后保存

如何从0搭建数据分析体系 数据分析系统搭建_数据库_05

如何从0搭建数据分析体系 数据分析系统搭建_大数据_06

4.右侧分析面板里行选择省份,列选择交易量和金额,点击下侧智能图标,如图所示:

如何从0搭建数据分析体系 数据分析系统搭建_数据_07

您可以在图上切换金额和交易量,点击保存

如何从0搭建数据分析体系 数据分析系统搭建_python_08

5.点击左侧导航栏作品--->我的仪表盘,选择老板驾驶舱,将列布局拖入画布中间,右侧布局占比改为40(可自由修改)

 

7.分别点击两个列布局,在右侧选择刚新建的工作表进行设置,结果如图:

如何从0搭建数据分析体系 数据分析系统搭建_数据_09

4.2.3 销售交易量top10商品种类的数据展示

1.点击左侧导航栏作品,选择新建-->新建工作表,进入数据集页面

2.选择数据集demo_dplus_summary,点击其后面的分析按钮

3.右侧分析面板里行选择商品种类,列选择交易量(因为求交易量销售前十的商品种类,所以要进行设置)

如何从0搭建数据分析体系 数据分析系统搭建_如何从0搭建数据分析体系_10

4.点击下侧智能图标,进行保存,如图所示:

如何从0搭建数据分析体系 数据分析系统搭建_python_11

同样方法可以新建工作表求得销售金额top10的商品种类,进行保存

如何从0搭建数据分析体系 数据分析系统搭建_数据_12

4.2.4 销售交易量top5手机品牌的数据展示

1.点击左侧导航栏作品,选择新建-->新建工作表,进入数据集页面

2.选择数据集demo_dplus_summary,点击其后面的分析按钮

3.右侧分析面板里行选择品牌,列选择交易量,点击高级过滤和交易量进行相关设置,进行保存

如何从0搭建数据分析体系 数据分析系统搭建_数据库_13

同样方法可以新建工作表求得销售金额top5的手机品牌,进行保存

如何从0搭建数据分析体系 数据分析系统搭建_python_14

4.点击左侧导航栏作品-->我的仪表盘,选择老板驾驶舱,将列布局拖入画布中间

5.在两侧列布局分别拖入tab,进行命名,分别向4页tab中拖入柱状图,在右侧选择新建的工作表进行设置,点击保存,结果如图:

如何从0搭建数据分析体系 数据分析系统搭建_大数据_15

4.2.5 用户购买能力分布的数据展示

分别通过性别、星座和年龄段来对用户购买能力进行分析

在仪表盘页面向画布拖入tab,在右侧设置tab页数为3,在每个tab页中放入tab,进行重命名

 

向用户购买能力--性别tab中拖入饼图,在右侧选择数据集demo_dplus_summary进行设置(只需改变维度和度量即可得到各自的分析),更新图表

https://img.alicdn.com/tps/TB1cfZKOVXXXXa4aXXXXXXXXXXX-1170-474.png" width="836">

向用户购买能力--星座tab中拖入矩形树图,在右侧选择数据集demo_dplus_summary进行设置(只需改变维度和度量即可得到各自的分析),更新图表

https://img.alicdn.com/tps/TB1Ij3xOVXXXXc_aXXXXXXXXXXX-1169-478.png" width="836">

向用户购买能力--性别tab中拖入饼图,在右侧选择数据集demo_dplus_summary进行设置(只需改变维度和度量即可得到各自的分析),更新图表

https://img.alicdn.com/tps/TB1HhoyOVXXXXc6aXXXXXXXXXXX-1166-515.png" width="836">

以上就是所有报表,记得点击保存。