科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化。当今数据时代背景下更加强调、重视数据的价值,以数据说话,通过数据为企业提升渠道转化率、改善企业产品,实现精准运营,为企业打造自助模式的数据分析成果,以数据驱动决策。

无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司需要决定前进方向或者推出某种新型产品,都需要数据分析来将数量庞大且凌乱的数据整合汇总,从而得出有用的信息,判断出前进的方向。

1整体介绍

通过不同的产品组合来解决不同公司面临的企业困难,帮助企业建立一整套统一、规范的IT架构标准体系,包括数据规范、服务规范、流程规范、界面规范、接口规范等,彻底解决公司当前面临的信息孤岛问题,有利于提高效率和降低公司成本。

1.1产品体系

首先介绍下我们数通畅联的产品体系:

DAP数据调度功能说明_调度资源

数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境的,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。 

DAP数据分析平台通过与ESB应用集成平台结合,使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作。基础数据为DAP提供同源且标准、一致的数据保障分析数据的准确性。 

1.2产品说明 

数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品,能够真实、准确、清晰、有效的将企事业内部及行业外部相关数据进行可视化展现,帮助企事业提升行业洞察力,加强决策力,从而提升整体竞争力。 

DAP数据调度功能说明_DAP_02

数据分析平台功能有: 

1.数据来源(应用系统定义、数据源头配置、ODS数据定义)数仓模型。 

2.数仓模型(业务主题、维度配置、事实配置、模型配置、指标配置)。 

3.数据调度(调度资源、调度任务、调度资源)。 

4.分析模型(数据集配置、立方体配置、多维度分析、业务类报表)。 

5.展现模型(导航管理、组件管理、展现主题、装饰管理)。 

6.统计分析(数据地图、质量分析、血缘分析、影响分析)。 

7.系统管理(组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志)。 

1.3功能说明 

数据调度这个功能主要是提供传输的效率,通过数据血缘把相关数据拉取到数仓、模型、数据集、数据实例中。启动并执行相对应的调度流程可以实现同步不同数据表之间的数据,然后还可以查看调度流程的日志和设置全局变量等。 

DAP数据调度功能说明_数据调度_03

  

创建数据调度流程的方式,不仅可以用DAP平台新增调度流程,还可以使用ESB设计器创建三种调度流程,分别是业务源到ODS中间库的调度流程、数据集加工的调度流程和立方体加工的调度流程,然后可以在每个流程的各个节点中设置数据源、映射等信息,最后也是到DAP平台查看并启动执行这些流程完成同步数据的功能。 

2业务场景 

通过上述功能介绍把调度分为调度资源、调度任务、调度日志,下面依次进行介绍。 

2.1调度资源 

DAP数据调度功能说明_数据调度_04

调度资源是通过业务系统到ODS、ODS到维度表或者基础事实表,维度表或者事实表到汇总事实表进行配置调度资源,不同同步类型配置是不同的调度资源。 

2.2调度任务 

DAP数据调度功能说明_数据分析_05

  

DAP调度任务调度资源通过业务逻辑组成一个任务,通过调度任务来同步调度资源相关的表,其中包括自动生成任务功能、手动生成任务功能、同步按钮功能开发、定时同步功能开发和调度任务功能相关业务逻辑等。 

2.3调度日志 

DAP数据调度功能说明_DAP_06

DAP调度日志是调用同步时候进行回写日志,统计失败的任务信息,包括调度资源信息,调度日志是通过ESB调用执行调度资源,同步数据情况的回写日志,可以查看到对应任务是否执行成功还是失败。 

3调度资源 

通过以上业务场景了解调度资源是做什么的,然后通过以下功能说明、数据模型、功能展现来进一步了解调度资源功能。 

3.1功能说明 

调度资源是单表列表功能,是通过ODS选择流程同步、维度表配置和加工事实表后,通过ESB创建同步资源流程后,ESB调用创建调度接口所生成的调度资源,也可以直接到调度资源中新增一个调度资源,然后配置ESB生成流程服务。 

3.2数据模型 

调度资源表:dap_sche_cfg: 

DAP数据调度功能说明_调度资源_07

3.3功能展示 

ODS中选择同步类型为同步流程类型,然后就可以选择调度资源,或者生成ESB流程时候自动生成调度并且插入到对应表字段中。 

DAP数据调度功能说明_调度资源_08

ESB调用根据DAP配置生成相关调度流程: 

DAP数据调度功能说明_调度资源_09

调度资源列表页面: 

DAP数据调度功能说明_数据分析_10

调度资源详情页面: 

DAP数据调度功能说明_数据分析_11

4调度任务 

生成调度后就要通过调度任务执行这些调度,通过以下功能说明、数据模型、功能展现来进一步了解调度任务功能。 

4.1功能说明 

调度任务是通过选择数据模型来批量选择调度资源的,因为数据模型天然一个业务分组,然后通过不同方式执行调度,把想要的数据同步到对应的表中,执行的时候通过调度间隔时间来判断这个资源是否最近执行过,如果执行过就不需要执行避免做一些无用功,提供同步效率。 

1.自动调用:通过定时配置,自动触发任务。 

2.手动调用目前有调度任务功能,通过调度任务执行调度资源。 

3.事件调用:组件进行执行调度资源或者刷新看板页面调用所有相关的调度资源。 

(1)首先通过血缘分析来判断组件关联了哪些调度资源。 

(2)然后分别执行这些调度资源进行更新数据。 

(3)看板页面也是一样,通过血缘分析来判断来源的调度资源。 

(4)执行这些调度资源进行更新数据。 

(5)通过执行时间来判断,如果超过阈值才执行这个调度资源,没超过就不执行。 

4.接口调用是通过rest接口方式执行调度资源。 

(1)接口入参为:调度任务ID。 

(2)接口出参为:成功/失败,如果失败返回错误信息。 

4.2数据模型 

调度任务表:dap_sche_task 

DAP数据调度功能说明_DAP_12

4.3功能展示 

选择一条数据,点击执行调度任务 。

DAP数据调度功能说明_数据分析_13

点击一个组件的刷新按钮,执行这个组件实例相关的数据调度资源。 

点击右侧下拉选项页面刷新,执行整个看板页面的调度资源。 

DAP数据调度功能说明_DAP_14

调度接口调用 

入参为: 

DAP数据调度功能说明_调度资源_15

出参为: 

DAP数据调度功能说明_数据调度_16

新增调度任务,触发类型选择定时,配置定时设置,启用后就会按照定时阈值进行自动调用了。 

(1)默认固定类型只能选择模型,如果想添加补充类型补充调度资源。 

(2)固定类型和补充类型调度资源要演示分开。 

(3)选择模型后提示没有创建调度资源的事实表或者维表。 

DAP数据调度功能说明_DAP_17

点击批量添加,可以选择模型,模型根据血缘分析进行选择模型中关联的相关调度资源,进行快速添加。 

DAP数据调度功能说明_DAP_18

  

5调度日志 

调度任务创建后通过自动、手动、事件执行都会执行ESB流程,而ESB流程把调用情况反馈给DAP进行回写日志,以下通过功能说明、数据模型、功能展现来进一步了解调度日志功能。 

5.1功能说明 

调度日志是通过ESB调用执行调度资源,同步数据情况的回写日志,可以查看到对应任务执行成功还是失败,双击进入详情页面是任务的基本信息,还有任务关联的调度资源,标签了哪些调度资源没有成功。 

1.调度日志:不同主题有不同的调度日志。 

2.日志接口:调度日志回写接口,ESB调用失败时候调用。 

5.2数据模型 

调度日志表:dap_sche_log 

DAP数据调度功能说明_DAP_19

5.3功能展示 

列表不显示调度编码、调度名称,显示调度任务编码及名称 。

DAP数据调度功能说明_数据分析_20

6总结分析 

无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司需要决定前进方向或者推出某种新型产品,都需要数据分析来将数量庞大且凌乱的数据整合汇总,从而得出有用的信息,判断出前进的方向。 

6.1数据分析 

数据分析在企业经营分析中,共有三大作用,下面为你进行讲述。 

1.现状分析:现状的含义大概可以从两点来看,第一,就是已经发生的事情;第二,就是现在所发生的事情。通过分析企业的整体运营情况,明确公司的现状,而现状则可以通过基础的周报或月报来进行分析。 

2.原因分析:如果通过第一点,了解了企业存在某种隐患,则需要去分析该隐患。 

3.预测分析:分析了现状,也分析了原因,接下来就需要预测。通过现在掌握的数据,来预测接下来的发展趋势等。 

6.2数据调度 

数据调度作用是把从业务系统到ODS,从ODS到维度表或者事实表、事实表加工处理里的数据进行一次抽取工作,帮助数仓快速创建,调度过程也是支持清洗校验的过程,帮助数仓数据更加完整准确,使数据分析更加真实有效,帮助企业领导掌握过去企业整体的运营情况,分析现在所存在的隐患,预测未来公司的发展趋势。 

6.3产品发展 

产品要从功能性、易用性、开发性、扩展性、高性能、稳定性、美观性等不同角度来扩展迭代产品,通过到项目中去,在再从项目中来。通过客户的需求筛选选择出产品需要的,进而升级产品功能,增强产品的功能性,通过不同项目来深度了解行业,预制样例通过不同产品组合来快速搭建,使我们在做项目时更加敏捷。 

产品不管怎么发展都是一个目的,就是解决每个阶段企业面临的困境,帮助企业完善信息化发展,能够抓住每个企业的痛点,这样才能体现出产品的价值。一款优秀且稳定的产品可以帮助工作人员快速而方便的工作,大大提高工作效率,也会让客户满意,增加客户对公司的信任度。