科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化。当今数据时代背景下更加强调、重视数据的价值,以数据说话,通过数据为企业提升渠道转化率、改善企业产品,实现精准运营,为企业打造自助模式的数据分析成果,以数据驱动决策。
无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司需要决定前进方向或者推出某种新型产品,都需要数据分析来将数量庞大且凌乱的数据整合汇总,从而得出有用的信息,判断出前进的方向。
1整体介绍
通过不同的产品组合来解决不同公司面临的企业困难,帮助企业建立一整套统一、规范的IT架构标准体系,包括数据规范、服务规范、流程规范、界面规范、接口规范等,彻底解决公司当前面临的信息孤岛问题,有利于提高效率和降低公司成本。
1.1产品体系
首先介绍下我们数通畅联的产品体系:
数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境的,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。
DAP数据分析平台通过与ESB应用集成平台结合,使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作。基础数据为DAP提供同源且标准、一致的数据保障分析数据的准确性。
1.2产品说明
数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品,能够真实、准确、清晰、有效的将企事业内部及行业外部相关数据进行可视化展现,帮助企事业提升行业洞察力,加强决策力,从而提升整体竞争力。
数据分析平台功能有:
1.数据来源(应用系统定义、数据源头配置、ODS数据定义)数仓模型。
2.数仓模型(业务主题、维度配置、事实配置、模型配置、指标配置)。
3.数据调度(调度资源、调度任务、调度资源)。
4.分析模型(数据集配置、立方体配置、多维度分析、业务类报表)。
5.展现模型(导航管理、组件管理、展现主题、装饰管理)。
6.统计分析(数据地图、质量分析、血缘分析、影响分析)。
7.系统管理(组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志)。
1.3功能说明
数据调度这个功能主要是提供传输的效率,通过数据血缘把相关数据拉取到数仓、模型、数据集、数据实例中。启动并执行相对应的调度流程可以实现同步不同数据表之间的数据,然后还可以查看调度流程的日志和设置全局变量等。
创建数据调度流程的方式,不仅可以用DAP平台新增调度流程,还可以使用ESB设计器创建三种调度流程,分别是业务源到ODS中间库的调度流程、数据集加工的调度流程和立方体加工的调度流程,然后可以在每个流程的各个节点中设置数据源、映射等信息,最后也是到DAP平台查看并启动执行这些流程完成同步数据的功能。
2业务场景
通过上述功能介绍把调度分为调度资源、调度任务、调度日志,下面依次进行介绍。
2.1调度资源
调度资源是通过业务系统到ODS、ODS到维度表或者基础事实表,维度表或者事实表到汇总事实表进行配置调度资源,不同同步类型配置是不同的调度资源。
2.2调度任务
DAP调度任务调度资源通过业务逻辑组成一个任务,通过调度任务来同步调度资源相关的表,其中包括自动生成任务功能、手动生成任务功能、同步按钮功能开发、定时同步功能开发和调度任务功能相关业务逻辑等。
2.3调度日志
DAP调度日志是调用同步时候进行回写日志,统计失败的任务信息,包括调度资源信息,调度日志是通过ESB调用执行调度资源,同步数据情况的回写日志,可以查看到对应任务是否执行成功还是失败。
3调度资源
通过以上业务场景了解调度资源是做什么的,然后通过以下功能说明、数据模型、功能展现来进一步了解调度资源功能。
3.1功能说明
调度资源是单表列表功能,是通过ODS选择流程同步、维度表配置和加工事实表后,通过ESB创建同步资源流程后,ESB调用创建调度接口所生成的调度资源,也可以直接到调度资源中新增一个调度资源,然后配置ESB生成流程服务。
3.2数据模型
调度资源表:dap_sche_cfg:
3.3功能展示
ODS中选择同步类型为同步流程类型,然后就可以选择调度资源,或者生成ESB流程时候自动生成调度并且插入到对应表字段中。
ESB调用根据DAP配置生成相关调度流程:
调度资源列表页面:
调度资源详情页面:
4调度任务
生成调度后就要通过调度任务执行这些调度,通过以下功能说明、数据模型、功能展现来进一步了解调度任务功能。
4.1功能说明
调度任务是通过选择数据模型来批量选择调度资源的,因为数据模型天然一个业务分组,然后通过不同方式执行调度,把想要的数据同步到对应的表中,执行的时候通过调度间隔时间来判断这个资源是否最近执行过,如果执行过就不需要执行避免做一些无用功,提供同步效率。
1.自动调用:通过定时配置,自动触发任务。
2.手动调用目前有调度任务功能,通过调度任务执行调度资源。
3.事件调用:组件进行执行调度资源或者刷新看板页面调用所有相关的调度资源。
(1)首先通过血缘分析来判断组件关联了哪些调度资源。
(2)然后分别执行这些调度资源进行更新数据。
(3)看板页面也是一样,通过血缘分析来判断来源的调度资源。
(4)执行这些调度资源进行更新数据。
(5)通过执行时间来判断,如果超过阈值才执行这个调度资源,没超过就不执行。
4.接口调用是通过rest接口方式执行调度资源。
(1)接口入参为:调度任务ID。
(2)接口出参为:成功/失败,如果失败返回错误信息。
4.2数据模型
调度任务表:dap_sche_task
4.3功能展示
选择一条数据,点击执行调度任务 。
点击一个组件的刷新按钮,执行这个组件实例相关的数据调度资源。
点击右侧下拉选项页面刷新,执行整个看板页面的调度资源。
调度接口调用
入参为:
出参为:
新增调度任务,触发类型选择定时,配置定时设置,启用后就会按照定时阈值进行自动调用了。
(1)默认固定类型只能选择模型,如果想添加补充类型补充调度资源。
(2)固定类型和补充类型调度资源要演示分开。
(3)选择模型后提示没有创建调度资源的事实表或者维表。
点击批量添加,可以选择模型,模型根据血缘分析进行选择模型中关联的相关调度资源,进行快速添加。
5调度日志
调度任务创建后通过自动、手动、事件执行都会执行ESB流程,而ESB流程把调用情况反馈给DAP进行回写日志,以下通过功能说明、数据模型、功能展现来进一步了解调度日志功能。
5.1功能说明
调度日志是通过ESB调用执行调度资源,同步数据情况的回写日志,可以查看到对应任务执行成功还是失败,双击进入详情页面是任务的基本信息,还有任务关联的调度资源,标签了哪些调度资源没有成功。
1.调度日志:不同主题有不同的调度日志。
2.日志接口:调度日志回写接口,ESB调用失败时候调用。
5.2数据模型
调度日志表:dap_sche_log
5.3功能展示
列表不显示调度编码、调度名称,显示调度任务编码及名称 。
6总结分析
无论是现在的互联网企业,还是传统型企业,都需要数据分析。公司需要决定前进方向或者推出某种新型产品,都需要数据分析来将数量庞大且凌乱的数据整合汇总,从而得出有用的信息,判断出前进的方向。
6.1数据分析
数据分析在企业经营分析中,共有三大作用,下面为你进行讲述。
1.现状分析:现状的含义大概可以从两点来看,第一,就是已经发生的事情;第二,就是现在所发生的事情。通过分析企业的整体运营情况,明确公司的现状,而现状则可以通过基础的周报或月报来进行分析。
2.原因分析:如果通过第一点,了解了企业存在某种隐患,则需要去分析该隐患。
3.预测分析:分析了现状,也分析了原因,接下来就需要预测。通过现在掌握的数据,来预测接下来的发展趋势等。
6.2数据调度
数据调度作用是把从业务系统到ODS,从ODS到维度表或者事实表、事实表加工处理里的数据进行一次抽取工作,帮助数仓快速创建,调度过程也是支持清洗校验的过程,帮助数仓数据更加完整准确,使数据分析更加真实有效,帮助企业领导掌握过去企业整体的运营情况,分析现在所存在的隐患,预测未来公司的发展趋势。
6.3产品发展
产品要从功能性、易用性、开发性、扩展性、高性能、稳定性、美观性等不同角度来扩展迭代产品,通过到项目中去,在再从项目中来。通过客户的需求筛选选择出产品需要的,进而升级产品功能,增强产品的功能性,通过不同项目来深度了解行业,预制样例通过不同产品组合来快速搭建,使我们在做项目时更加敏捷。
产品不管怎么发展都是一个目的,就是解决每个阶段企业面临的困境,帮助企业完善信息化发展,能够抓住每个企业的痛点,这样才能体现出产品的价值。一款优秀且稳定的产品可以帮助工作人员快速而方便的工作,大大提高工作效率,也会让客户满意,增加客户对公司的信任度。