科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,当今数据时代背景下更加强调、重视数据的价值,以数据说话,通过数据为企业提升渠道转化率、改善企业产品、实现精准运营,为企业打造自助模式的数据分析成果,以数据驱动决策。
数据分析,无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司需要决定一些方向或者推出某种新型产品,就需要数据分析来将一些凌乱的数据进行整合汇总,从而判断出具体的方向。
1整体介绍
可以通过不同的产品组合来解决不同公司面临的企业困难,帮助企业范围内建立起了一整套统一、规范的IT架构标准体系,包括数据规范、服务规范、流程规范、界面规范、接口规范等,彻底解决了当前面临的信息孤岛问题,有利于提高效率和降低成本。
1.1产品体系
首先介绍一下我们数通畅联的产品体系:
我们数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。
DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作,基础数据为DAP提供同源并标准的、一致的数据保障数据分析分析数据的准确性。
1.2产品说明
数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品,能够真实、准确、清晰、有效的将企事业内部及行业外部相关数据进行可视化展现,帮助企事业提升行业洞察力,加强决策力,从而提升整体竞争力。
数据分析平台功能有:
1.数据来源(应用系统定义、数据源头配置、ODS数据定义)数仓模型。
2.数仓模型(业务主题、维度配置、事实配置、模型配置、指标配置)。
3.数据调度(调度资源、调度任务、调度资源)。
4.分析模型(数据集配置、立方体配置、多维度分析、业务类报表)。
5.展现模型(导航管理、组件管理、展现主题、装饰管理)。
6.统计分析(数据地图、质量分析、血缘分析、影响分析)。
7.数据服务(接收服务、查询服务、业务服务、组件服务)。
8.系统管理(组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志)。
1.3功能说明
DAP是数据中台重要组成部分,数据中台是指通过企业内外部多源异构的数据采集、治理、建模、分析、应用使数据对内优化管理提高业务,对外可以数据合作价值释放,成为企业数据资产管理中枢,数据中台对外发布不只是可视化展现,还需要有对外的发布接口,所以DAP需要扩展数据服务功能,数据服务功能分别有:接收服务、查询服务、统计服务、业务服务、分享服务。
2接收服务
接收服务是对ODS数据抽取的一种方式,通过对外接口把业务系统的数据同步到ODS中间库里。
2.1功能说明
ODS有几种同步数据方式,分别是源库读取、接口同步、流程同步、手工录入,其中接口同步就是同步外部接口进行同步数据的,如果ODS选择接口同步就会在接收接口处生成一条服务,通过接收接口能够查看到接口地址和入参格式,通过样例就可以进行调用。
2.2接口说明
接口地址:
http://localhost:202/dap/services/OdsResourceObjService/rest/sync-datas/capitalweekplane;
入参为:
出参为:
2.3功能展现
在ODS配置中选择同步方式为接口推送模式,点击保存后:
接收服务中会生成对应的服务地址和入参:
列表页面:
详情页面:
3查询服务
查询服务是对数据集数据对外发布一个服务,通过数据集编码和条件进行查询数据集中数据。
3.1功能说明
数据集添加发布和反发布,通过发版生成数据集获取接口,此接口的条件默认是数据集编码和10条数据,也可以通过配置条件,通过条件查询数据集中的数据。
3.2接口说明
接口地址:
出参为:JSONObject
3.3功能展现
通过数据集中配置后,点击发布,就能开到数据接口。
发布后在查询服务中就可以显示数据服务:
4统计服务
查询服务是对立方体数据对外发布一个服务,通过立方体编码和条件进行查询立方体数据。
4.1功能说明
立方体添加发布和反发布,通过发版生成数据集获取接口,此接口的条件默认是立方体编码和10条数据,也可以通过配置条件,通过条件查询立方体中的数据。
4.2接口说明
接口地址:
http://localhost:2020/dap/services/DataProvideService/rest/cubeset?cubeSetCode=empData&limit=10;入参为:
出参为:JSONObject
4.3功能展现
在立方体中点击发布:
在统计服务生成对应服务:
5业务服务
DAP数据服务缺少业务对象服务,此对象服务是从数据集、立方体查询的,定义单体、树形、主从、主从从模型通过配置的查询条件进行查询业务数据。
5.1功能说明
创建一个配置业务对象服务的配置功能:
1.此功能可以选择数据集、立方体查询数据结构。
2.通过这些机构配置单体、树形、主从、主从从动态对象模型。
3.根据数据编码或者ID查询上述创建的动态模型结构的数据。
4.选择来源后,要设置选择关联关系、条件(条件通过数据集配置条件获取)用于构建树形、主从、主从从这种特殊格式。
5.配置后点击保存生成元素数据,跳转到元数据页面后有来源段信息和目标字段信息,目标字段新可以修改改成小写、驼峰命名法。
6.所有查询条件支持添加后编辑。
7.树形除了配置父节点外,还有配置标识字段。
8.主从表,主表配置单独表单,选择完主表后,下面从表列表,从表的主表是可以选择的。
9.元数据支持添加,可以通过添加配置编辑从表字段信息。
10.元数据页面目标列表信息显示:字段、显示字段(可修改)、显示类型(String、object等)。
5.2接口说明
创建获取根据ID和编码获取业务数据接口:
接口地址:
http://localhost:2020/dap/services/BizObjectService/rest/records/{objType}/{objCode}
入参为:
出参为:
5.3功能展现
在数据服务添加业务服务功能:
列表页面:列表显示对象名称、对象编码、对象类型、来源名称、是否发布、创建人、创建时间。
新增详情页面:
如果是单体类型下面配置方式:
1.选择对象类型为单条,然后选择对象来源类型、对象来源、对象格式。
2.选择完来源方式点击保存自动生成对应元数据。
3.选择查询条件后支持编辑。
查询条件编辑页面:
来源选择数据集立方体。
树形对象配置如下:
配置标识节点和父节点字段和查询条件。
主从对象模型配置如下:
主从表,主表配置单独表单,选择完主表后,下面从表列表,从表的主表是可以选择的。
点击新增,新增从表数据:从表编辑页面,可以选择主表,主表可以选择主表也可以选择创建好的从表。
元数据配置页面:支持删除、修改目标映射编码。
1.元数据支持添加,可以通过添加配置编辑从表字段信息。
2.元数据页面目标列表信息显示:字段、显示字段(可修改)、显示类型(String、object等)。
6分享服务
分享服务是对其组件实例对外发布,通过组件服务配置发布到外部生成URL,通过URL访问页面。
6.1功能说明
组件服务是单独功能,通过选择已配置导航,然后生成一个空白页面,空白的主题,插入对应的组件实例、导航、主题的表里。
1.新增组件服务组件展现发布出去。
2.通过组件服务发版到外部,组件服务能。
6.2接口说明
入参为:
出参为:JSONObject 不同组件不同出参信息,根据选择的字段展现。
6.3功能展现
新增发布导航功能、就没有主题配置。点击保存自动生成默认主题、分组和一个空白页面。
选择是右侧选择已创建好的页面组件实例。
点击添加弹出导航页面树:先选择导航,选择各个分组页面下组件。
通过发版URL访问:一个单独页面组件。
7总结分析
无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司需要决定一些方向或者推出某种新型产品,就需要数据分析来将一些凌乱的数据进行整合汇总。
7.1数据分析
数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来,从而找出所研究对象的内在规律。在实际应用中,数据分析可帮助人们做出判断,以便采取适当行动。数据分析是有组织有目的地收集数据、分析数据,使之成为信息的过程。
7.2数据服务
数据中台集成业务系统数据,一般情况展现层的数据不是本身系统的数据,是不可能在去业务系统抽取,那样的抽取的性能会变差,因为业务系统数据已经到数据中台中而且是治理后标准数据,所以应用从数据中台中获取,而获取的途径就是DAP数据服务。
7.3产品发展
产品诞生要从不同角度来扩展迭代每个产品,通过从项目去,再从项目来,通过客户的需求筛选出我们产品需要的,进行升级产品功能,增强产品的功能性,而且需要换位思考,了解在项目中实施的重点和难点,总结经验,扩展向导功能加强产品的易用性,在开发时要考虑产品的性能和稳定性。
为了更好地开发产品,真正要做的是产品和项目本身的分离,将开发出来的产品作为一个平台,项目的特色化定制则是在产品基础上的配置和实施来实现。实施本身存在差异,但是作为通用化底层模型的产品平台本身可以产生强大的规模效应和底层支撑。另外推进产品开发的时候,要立足长远,不能仅想着开发的产品能不能满足现有需求,而是要转变思想去挖掘潜在的市场需求。