DAP数据分析平台主要是为了满足企业数据分析的需要而开发的一款产品,不同于一般的BI平台,DAP数据分析平台更侧重数据的聚合,平台预置有数据源注册、ODS注册与管理、数仓配置与数据聚合,从而实现企业业务数据的统一,构建企业统一的、标准的、完整的数据仓库,为数据展现、数据分析、数据报表,以及外部系统数据交互提供支持。

本文将介绍数通畅联的DAP数据分析平台进行组件支持外部服务的过程,主要介绍的是对于数据接口的配置以及对于配置的组件如何进行定时刷新,最终在可视化展现中实现数据展现的过程

1整体介绍

DAP数据分析平台是一款专门用于企业大数据平台构建的产品,它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理。最终将有价值的数据以可视化的形式进行展现,能够有效帮助企业清晰的分析优劣势,从而调整企业策略,加快企业的信息化发展与整体竞争力。

1.1产品体系

公司的产品可以通过不同的组合来解决不同的问题,帮助企业范围内建立起一整套统一、规范的IT架构标准体系,包括数据规范、服务规范、流程规范、界面规范、接口规范等,彻底解决了当前面临的信息孤岛问题,有利于提高效率和降低成本。下面介绍一些数通畅联的产品体系,如下:

DAP组件外部服务开发说明_大数据

1.2产品说明

DAP数据分析平台将企业的数据进行治理分析,并且通过图形组件呈现出来,充分利用企业数据,发挥数据的最大价值,为企业决策者提供直观的展示效果,从而获得更大的商业价值。在DAP数据分析平台中预置了丰富的组件,饼状图、条形图、散点图、折线图等满足企业的真实所需。它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理,最终将有价值的数据以可视化的形式进行展现,能够有效的帮助企业清晰的分析优劣势,从而调整企业策略,加快企业的信息化发展与整体竞争力。

DAP组件外部服务开发说明_定时刷新_02

1.3场景介绍 

目前DAP可以根据数仓中的数据来进行可视化展现,但是在可视化展现中有一些非数仓中的数据来源,比如展现天气、新闻信息等,这就需要调用外部服务获取数据。为了满足不同企业的不同需求,以用户使用方便为基础,则需要DAP支持调用外部服务接口,通过外部接口来获取数据,在可视化展现中进行展示。

DAP组件外部服务开发说明_数据治理_03

2模型设计

组件支持接口调用要考虑出参格式,给出出参样例,获取数据进行格式转换。

2.1数据配置

dap_ui_menu页面表添加2个字段:

1.是否定时刷新(MENU_IS_TIMING)。

2.定时策略配置(MENU_TIMING_CONFIG )。 

DAP组件外部服务开发说明_大数据_04

dap_widget_res组件实例表添加2个字段:

1.是否服务DWR_IS_SERVICE。

2.DWR_SERVICE 用于存储接口信息。

DAP组件外部服务开发说明_数据_05

组件实例表添加一个定时配置:

1.DWI_IS_TIMING 是否定时字段。

2.DWI_TIMING_CONFIG 定时配置字段。

DAP组件外部服务开发说明_定时刷新_06

2.2接口配置

调用外部服务需要调用外部接口来获取数据,在本文中配置的是天气组件,所以需要去调用一个天气的外部接口。

DAP组件外部服务开发说明_大数据_07

2.3页面配置

在组件管理基本信息页面扩展是否服务的单选按钮,以及接口地址。

是否服务默认为否,服务为否时,页面显示数据来源类型以及转换类。

DAP组件外部服务开发说明_定时刷新_08

当是否服务选择为是时,页面显示接口地址。

DAP组件外部服务开发说明_定时刷新_09

定时刷新功能需要配置定时时间,所以首先要在导航管理基本信息页面配置定时按钮,配置完定时时间后,当前页面的所有组件都会根据定时时间进行定时刷新。

DAP组件外部服务开发说明_数据治理_10

组件配置页面也拥有定时配置按钮,可以支持单个组件定时刷新,如果导航页面以及组件配置页面都配置了定时时间,则刷新时间按照组件配置页面的时间进行定时刷新。

DAP组件外部服务开发说明_数据治理_11

3支持服务

扩展一个Renderer ,当组件展现时调用这个Renderer来获取,获取之后,根据默认数据来构建出参格式,然后循环出参数据,再输出构建组件展现。

3.1功能介绍

首先创建一个BaseServiceRender,当组件选择支持外部接口时,默认转换类为BaseServiceRender。

DAP组件外部服务开发说明_大数据_12

3.2功能实现

在组件管理中创建一个天气组件,定义默认数据,key值与调用接口与json的key值相对应,目的是在调用接口后根据默认数据的key值去循环获取值,达到展现数据的效果,也可以实现没有配置接口或者接口调用不通时,通过默认数据来展现数据。

DAP组件外部服务开发说明_数据_13

DAP组件外部服务开发说明_数据_14

在组件模板中定义模板,同样与调用接口后的key值相对应。 

DAP组件外部服务开发说明_数据分析_15

DAP组件外部服务开发说明_大数据_16

3.3功能展现

在导航管理中拉取时间组件,可以看到接口调用成功,数据展现。

DAP组件外部服务开发说明_大数据_17

在大屏中预览样式如下:

DAP组件外部服务开发说明_数据治理_18

4组件刷新

在一些应用场景中,组件的数据是动态的,所以需要配置组件的定时刷新,来获取实时数据。 

4.1功能介绍

组件刷新只有在导航类型为大屏的情况下配置,一是组件实例支持定时配置刷新组件,二是页面支持所有组件刷新,在页面配置完定时刷新后,该页面所有组件会按照定时时间进行刷新,若组件配置中单独配置了定时刷新,则刷新时间按照组件配置的时间进行刷新。

4.2功能实现

在页面配置中配置一个定时刷新,保存后,定时时间会存放在dap_ui_menu库的MENU_TIMING_CONFIG字段中。

DAP组件外部服务开发说明_数据治理_19

在组件的js代码中添加如下方法进行组件刷新:

DAP组件外部服务开发说明_数据治理_20

4.3功能展现

配置好之后,点击大屏预览,因配置的定时时间为10秒,所以可以在10秒后看到数据的变化,如下图:

DAP组件外部服务开发说明_数据分析_21

5心得总结

无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司决定前进方向或者推出某种新型产品,都需要数据分析来将数量庞大且凌乱的数据整合汇总,从而得出有用的信息,判断出前进的方向。 

5.1产品应用

数据分析必须要以数据为先,分析为后。对收集来的大量第一手资料和第二手资料进行分析,以求最大化地开发数据资料的功能,发挥数据的作用。这是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程,而数据应用可视化展现是对数据的一种应用方式,通过数据可视化,业务组织可以提高他们在需要时查找所需信息的能力,并通过数据可视化比其他公司更高效地完成这些工作。

5.2产品理解

在数据可视化展现中有一些数据来源不仅为数仓中的数据,如展现天气、新闻信息等需要调用外部服务获取数据的,这样可以保证数据的实时性与准确性,并且可以减轻数据量。

5.3产品展望

DAP数据平台是我们数据中台的一部分,它可以提升企业的业务数据价值,从数据来源上梳理企业的业务数据,把需要提升企业业务价值的相关表放到中间库中,通过数据治理整合汇总这些数据,把这些数据变成完整的可观察的数据从而展现出来

在确保产品的易用性、稳定性以及性能的基础上,我们要不断对产品进行更新迭代,站在用户的角度思考产品,关注市场动向,深入了解需求,提高用户对产品的满意度,增加客户对公司的信任度。