科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,当今数据时代背景下更加强调、重视数据的价值,以数据说话,通过数据为企业提升渠道转化率、改善企业产品、实现精准运营,为企业打造自助模式的数据分析成果,以数据驱动决策

DAP数据分析平台是公司的核心产品之一,主要是满足在企业进行数据分析的过程中,进行数据集中化管控、决策分析等需要。通过DAP数据分析平台可以有效支撑企业构建数据仓库,实现企业业务数据的清洗和汇聚,同时基于DAP平台的展现配置,可以根据业务主题构建相应的展现看板,从而实现数据的图形化展现,为企业领导层的数据把控和运营决策分析提供支持。 

1总体介绍说明 

数据分析,无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司需要决定一些发展方向或者推出某种新型产品时,就需要数据分析来将一些凌乱的数据进行整合汇总,从而判断出具体的方向。本文将介绍数仓建设的过程,以及流程搭建等工作,并阐述自己的一些看法。 

1.1产品介绍 

DAP数据分析平台是满足企业数据整合、分析的一款产品。它通过ODS定义将企业数据同步到ODS数据库中,再通过数仓模型建立——维度表,基础事实表,汇总事实表进行数据清洗,加工处理,最后进行模型建设方便后续工作使用需要。如图所示: 

基于DAP数仓建设过程说明_数据库

1.2产品体系 

DAP数据分析平台可以结合MDM基础数据平台,ESB企业服务总线形成数仓结合可视化组件进行数据可视化展示,能够真实、准确、直观地将企业数据进行处理加工表现出来。目前数通畅联推出DAP+ESB数据仓库治理基础方案和DAP+ESB+MDM数据中台综合方案。可以有效地处理企业被数据困扰的烦恼。 

1.3产品说明 

数据分析平台是帮助企业处理、整合数据的一款产品。它能够将繁乱的数据转化成直观、整洁的可视化效果,便于客户对数据的分析、决策。它分为ODS数据同步,数仓模型,分析模型,导航配置等功能,本文将对ODS数据同步以及数仓模型的创建过程进行介绍。 

2数据采集同步 

万物开头难,任何事第一步最重要,否则后面做得再好、再漂亮到最后亦不过是竹篮打水一场空。 

业务系统到ODS就是数仓建设过程中的第一步。是构建数仓模型的基础,将业务数据同步到ODS数据库中,便于后续维度表,事实表等的创建。 

2.1功能介绍 

业务系统到ODS数据库的过程,可以分为两种:一是源库读取。通过读取客户的数据库数据,将数据同步到ODS数据库中;二是参考表创建。通过创建参考表,将业务数据库中对应得字段名同步过来,再通过ESB流程实现数据的同步。 

2.2功能配置 

下面对业务系统到ODS的同步过程进行如下说明: 

首先登陆DAP数据分析平台,找到ODS数据定义,点击参考表创建: 

基于DAP数仓建设过程说明_数据_02

选择需要的原系统表名和数据库,点击保存: 

基于DAP数仓建设过程说明_构建数仓_03

如图所示: 

基于DAP数仓建设过程说明_构建数仓_04

点击生成表: 

基于DAP数仓建设过程说明_数据治理_05

这时在ODS数据库中变有了一个一模一样的空表: 

基于DAP数仓建设过程说明_数据库_06

2.3数据集成 

现在创建ESB流程来将业务数据同步到ODS数据库中刚刚生成的表中: 

打开ESB设计器,进行如下操作: 

基于DAP数仓建设过程说明_数据_07

点击Next: 

基于DAP数仓建设过程说明_数据分析_08

选择自己创建的表,点击Finish: 

基于DAP数仓建设过程说明_数据_09

点击部署流程。 

在DAP数据分析平台下找到数据调度功能,点击同步资源,选中自己的表,点击发布,执行: 

基于DAP数仓建设过程说明_数据库_10

此时业务数据就同步到ODS数据库中了。 

基于DAP数仓建设过程说明_数据_11

2.4集成测试 

下面查看一下数据集成的同步日志,对数据集成进行测试: 

基于DAP数仓建设过程说明_数据_12

找到数据调度中的同步日志,找到同步的数据,双击: 

基于DAP数仓建设过程说明_数据_13

显示成功,无异常信息。说明数据集成成功了。 

3数据清洗转换 

ODS到数仓模型是数仓建设的核心步骤。它是将ODS数据库中同步过来的数据进行清洗、加工、整合,配置成需要的维度表和事实表,为后续做数据汇总做准备。 

3.1功能介绍 

ODS到数仓模型是对维度表,事实表的创建和配置。它是对同步过来的数据进行清洗、整合、加工,将重要的有价值的数据整理到一起,便于使用和配置。 

数仓建设是对数据最后的把关和处理,是将你所需要的数据都整合起来,方便后面分析模型的使用和配置。 

3.2功能配置 

下面对ODS到数仓模型的操作过程介绍如下: 

首先在DAP数据分析平台找到数仓模型中的维度配置,点击新增:  

基于DAP数仓建设过程说明_构建数仓_14

根据自己需要填写对应的表和表名,选择对应的数据库: 

基于DAP数仓建设过程说明_数据治理_15

接下来找到基础事实表配置,点击新增:  

基于DAP数仓建设过程说明_数据_16

填写自己对应的信息,事实表类型选择基础事实表: 

基于DAP数仓建设过程说明_数据_17

3.3数据集成 

数据集成创建ESB流程,将ODS同步的数据同步到创建好的维度表,集成事实表,汇总事实表中。下面介绍创建过程: 

基于DAP数仓建设过程说明_数据治理_18

如图所示,流程模板选择ODS转换到EDW,点击Next。 

基于DAP数仓建设过程说明_数据库_19

选择自己创建的维度表或事实表,基础事实表流程与维度表一致,在这就不再详细介绍了。点击Finish。 

基于DAP数仓建设过程说明_数据库_20

点击部署流程。 

基于DAP数仓建设过程说明_数据分析_21

点击数据调度中的加工资源,找到自己的维度表或基础事实表,点击发布,执行。 

汇总事实表流程创建则选择汇总事实表加工,点击Next: 

3.4集成测试 

下面对数据清洗转换的数据集成进行测试,同上,查看日志管理: 

基于DAP数仓建设过程说明_构建数仓_22

找到加工日志,找到自己的数据,双击打开: 

基于DAP数仓建设过程说明_数据分析_23

查看是否为成功,有无异常。 

基于DAP数仓建设过程说明_数据库_24

基础事实表与维度表操作方法一致,在这里就不再查看了。 

4数据加工汇总 

数据加工汇总是将ODS库中的数据表,维度表,基础事实表中有价值的数据筛选出来进行加工汇总,方便后面模型配置使用。 

4.1功能介绍 

数据加工汇总其实就是汇总事实表的创建和配置。汇总事实表的作用是将业务系统到ODS库中的表,维度表,基础事实表,进行字段、数据筛选、关联、计算、汇总,组建成一个全新的表。汇总事实表具备了“期末成绩单”的雏形。 

4.2功能配置 

下面对汇总事实表的搭建和配置过程介绍如下:

基于DAP数仓建设过程说明_构建数仓_25

在事实配置中找到想要创建的位置,点击新增: 

基于DAP数仓建设过程说明_数据分析_26

选择对应的数据库,填写对应的信息,选择需要的表,点击保存: 

基于DAP数仓建设过程说明_数据_27

点击字段信息,导入所需要的字段,也可以选择新增来手动添加。字段添加完成后,点击创建表。 

4.3数据集成 

数据加工的汇总事实表创建完成,但表中没有数据,现在就需要通过ESB流程搭建来实现数据同步。 

基于DAP数仓建设过程说明_数据_28

流程类型选择第一个,流程模板选择汇总事实表加工,点击Next。 

基于DAP数仓建设过程说明_数据治理_29

点击刷新,找到刚刚创建的表,点击Finish。并部署应用。 

4.4集成测试 

下面查看下加工日志,测试数据集成流程是否畅通。 

基于DAP数仓建设过程说明_数据库_30

点击日志管理,在加工资源中找到对应的事实表加工汇总,双击打开: 

基于DAP数仓建设过程说明_构建数仓_31

 

可以在Navicat中找到创建出来的汇总事实表,查看同步过来的数据。 

5数据模型建设 

模型建设是在数仓构建中创建的维度表、事实表、汇总事实表进行关联,整合,使数据得到充分的利用,模型建设是对数据的最后一次处理,为后续分析模型的搭建和调用提供方便,它是分析模型创建的基础。 

5.1功能介绍 

数仓模型功能节点、模型配置是这个功能中最重要的环节。它不是单单创建数据表,关联数据,它是将众多数据表,同等类型的数据的表关联起来,就像一个公司,有不同能力的人才,这些人才又服务于公司一样。模型配置就是起到这样一个作用。 

5.2 功能配置

下面介绍数仓模型的搭建及配置过程。 

基于DAP数仓建设过程说明_数据治理_32

在数仓模型中找到模型配置,点击新增: 

基于DAP数仓建设过程说明_数据_33

填入编码和名称,点击保存: 

基于DAP数仓建设过程说明_数据库_34

点击关联关系,关联对应的字段: 

基于DAP数仓建设过程说明_数据治理_35

点击查看模型,可以查看模型中关联的数据表: 

基于DAP数仓建设过程说明_数据_36

点击发布。 

5.3效果展示 

下面看一下数仓模型搭建完后生成的表是什么样子的,都有哪些数据。 

基于DAP数仓建设过程说明_构建数仓_37

数仓模型关联的数据相关数据都已经整合在一起了。 

基于DAP数仓建设过程说明_数据分析_38

6心得总结体会 

本次样例工作开发覆盖了DAP产品在实际项目中的常见使用场景,通过本样例,使用者可以掌握DAP常用功能的使用方法,同时对于此类方案也会有一定的了解,在本章节中,将对本次工作中所得收获进行梳理总结。 

6.1功能总结 

站在功能角度来看,本次开发工作中可以看出,调度流程的创建已经更为便捷,产品对于非技术人员的友好度做出了提升,使用者可通过在页面中选择配置,即可在ESB设计器中生成对应的调度流程,降低了产品的使用难度;同时通过本篇文档以及样例工程,可以快速的掌握DAP产品中数仓的构建过程,从而更快的去开展工作,提高整体工作效率。 

6.2能力提升 

本次样例功能开发主要针对数仓构建这一步骤,样例的使用者可以根据本次开发完成的样例工程,快速的学习并掌握DAP产品以及ESB产品在数仓构建时使用到的功能模块;同时也可以根据ESB产品中自动生成的SQL语句去了解数据在同步至数仓的过程中经过了哪些处理步骤,掌握数据从业务系统到数仓的整体逻辑。 

6.3 心得总结

在DAP这款产品中,数仓的构建是各种操作的基础,无论是后续的分析展现或是其他的一些操作,都是基于数仓中的数据进行的;同时相较于市面上其他同种类型的数据可视化产品,DAP还可以保障同步到数仓中的数据是准确且可靠的,企业无需为数据的准确性担忧,可根据这些数据进行分析并对后续工作做出决策。 

通过本次样例功能的开发,可以看出DAP产品提升了对非技术人员进行使用的友好度,使用者可通过配置页面上的功能去完成数据到数仓的调度;也可以快速生成报表,无需技术人员进行协助,减少了工作的参与人员,提高了工作的效率。