在当前的信息化建设背景下,企业数据的价值日益凸显,数据分析也越来越受到重视。数据分析通过整合和汇总数据,为企业制定战略、了解市场需求等方面提供强有力的支持。而通过对大量数据进行分析,能够真实、准确、清晰、有效地将企业内部及外部行业数据进行可视化展现,使企业能够调整产品定位、开发新产品,以满足市场需求,帮助企业提升行业洞察力,加强决策力,从而提升整体竞争力。
此外,数据分析还为企业优化产品和服务提供指导,通过分析用户数据,企业能够根据这些数据改进产品质量和提升用户体验。同时还能揭示用户特征和需求,为企业实施精准营销和个性化服务提供依据。
1产品介绍
AEAI DAP 数据分析平台是一款数据分析产品,通过采集各个业务系统的业务数据,构建企业数仓,能够有效地帮助企业清晰地分析优劣势,从而调整企业策略,加快企业的信息化发展。
1.1集成架构
DAP在数据分析过程中通过抽取源头系统的业务数据与相关的维度数据,通过ESB企业数据总线对数据进行加工汇总,通过业务系统到ODS库,ODS库到ESW数仓库,数仓库加工汇总后进行整合分析,最终实现可视化展现:
1.由业务系统提供业务数据,ESB通过数据集成、业务系统接口调用或者DAP通过读取源库等方式,将源头系统的业务数据抽取到ODS中;2.ODS中的基础数据、业务数据,通过ESB的聚合流程按照类别汇聚到数仓的维表或事实表中。
2.ODS中的基础数据、业务数据,通过ESB的聚合流程按照类别汇聚到数仓的维表或事实表中。
3.维表与事实表中的数据根据业务主题、业务指标,再次进行加工汇总,形成数仓中的汇总事实表。
4.DAP的分析模型根据汇总数据进行整合计算。
5.结合分析模型整合计算的数据与DAP预置的展现组件,形成直观的图形、图表展现,最终完成可视化效果的最终呈现。
1.2数仓架构
DAP中数仓架构如下图所示:
数仓具体分为ODS中间层、数仓层、分析层,数仓层具体细分维度层、DWD层及DWS层,具体作用如下:
1.ODS中间层:用来存储多个数据源业务数据的系统,不对原始数据做任何处理。在业务系统和数据仓库之间形成一个隔离,源系统数据结构的变化不影响其他数据分层。减轻业务系统被反复抽取的压力,由ODS统一进行抽取和分发。
2.DWD细节数据层:是业务层与数据仓库的隔离层,主要实现对ODS数据层数据清洗和规范化的操作;
3.DWS数据服务层:是根据DWD层数据按照各种维度或多种维度组合,把需要查询的一些事实字段进行汇总统计,可以满足一些特定查询、数据挖掘应用,面向业务层面,根据需求进行汇总;
4.ADS数据分析层:将需要分析的业务数据和维度数据进行整合,创建相应的分析模型,根据数据集和立方体创建多维度分析和业务类报表。
1.3分析体系
DAP的分析体系是一种驱动型的分析体系和方法,通过引导和对数据的分析,通过分析模型,可视化组件,数据服务三个方向来说明完整的分析内容。
分析模型:在分析模型中有数据集和立方体等核心概念,数据集是对数据进行筛选、清洗等操作后得到的符合分析需求的数据集合;立方体则是基于数据集进一步配置的结果,可以深入理解数据的含义。此外,通过配置业务类报表,多维度分析等功能,用户可以深入理解数据的含义。
可视化分析:可视化分析能够真实、准确、清晰、有效地将企事业内部及行业外部相关数据进行展现,从而提升整体竞争力。这其中包括通过数据分析平台对分析数据进行数据可视化配置,以及通过数据报表等方式,将数据报表、业务数据有机地结合起来,有层次地展现,以更有效地支持业务。
数据服务:数据服务是指通过企业内外部多源异构的数据采集、治理、建模、分析、应用使数据对内优化管理提高业务,对外可以数据合作价值释放,成为企业数据资产管理中枢。除了上文提到的可视化展现,还有对外的发布接口,例如:接收服务、查询服务、统计服务、业务服务、分享服务。
2分析模型
在DAP平台中,数据集、立方体和业务报表等分析模型是数据分析和决策支持的重要组成部分,通过对这些分析模型的配置,我们可以将数据赋予可视化组件,实现数据的可视化展现和分析。
2.1数据集配置
首先打开数据集配置功能,左侧是业务主题分组,这里我们直接引用了数仓的业务主题,在主题我们可以配置不同的数据集,并根据业务的需要进行数据的新增和修改。
在配置数据集时,我们首先要选择数仓模型,当我们选中数仓模型的时候,在右侧会自动更新数仓模型的数据表,同时也会获取对应的表关联信息,随后我们根据需求对字段进行选择即可。
我们配置好的数据集可以进行数据预览操作,在预览界面我们可以看到这个数据集对应的数据记录。
2.2立方体配置
立方体配置页面的左侧也是业务主题分组,而且每个主题下也有多个立方体,我们也可以根据业务的需求对立方体进行新增和修改。而且立方体的数据来源就是我们刚刚讲到的数据集,用配置好的数据集对立方体进行配置后,我们也可以直接对配置好的立方体进行数据预览。
2.3业务类报表
我们的业务报表和立方体一样基于数据集进行配置,在配置业务报表时当选中数据集后,下方会自动加载所选择数据集的字段信息。而且也可以在这里根据需求对字段进行调整,比如对字段进行合并和固定等,而且配置后也可以通过预览查看配置好的业务报表。
2.4多维度分析
多维分析的配置和业务报表的配置很相似,区别在于业务报表基于数据集进行配置,而多维分析则基于立方体进行配置,选择立方体对多维分析进行配置,在配置后也可以点击预览来查看数据。
3可视化配置
可视化配置对于数据分析和决策支持至关重要,它可以提供数据展示,数据分析等功能。而且通过可视化配置,用户能够更好地理解和解读数据,发现其中的规律和趋势。
3.1导航页面
首先是导航管理的配置,先配置导航的编码、名称、展现方式等,在配置好导航的基础信息后,进入导航管理的内部配置导航菜单页面,可以新增目录,页面和链接。目录是作为页面的分组,页面则是最终所展示数据的单个页面,最后是链接,链接可以对外部链接页面进行跳转。
一个页面可以被分为多个容器,每个容器内都可以配置数据可视化的组件,根据需要对容器的布局进行配置,如三行三列,四行两列等。而容器内配置好的组件可以通过拖拽的方式来进行移动,空容器也可以添加子容器,也可以对其进行扩展拆分,从而实现容器布局的快速调整。
3.2组件配置
在配置好的页面布局中点击组件配置可以跳转到组件配置页面,在配置页面对组件进行配置。
在配置组件时,可以通过拖拽组件资源直接到配置好的容器内,然后再配置组件的具体信息,配置时我们首先选择数据的来源类型,可以选择数据集,立方体或指标集,随后选择对应的模型,此时会自动加载模型的字段信息,可以根据数据可视化的需要对字段进行选择和配置。而且为了数据的展现的效果和需求,可以通过添加过滤条件和排序来使组件的展示效果更加清晰和直观。
3.3组件穿透
在展现数据时,可以通过对组件的联动配置实现页面内的组件交互和不同页面内的组件交互,比如通过对时间查询组件的点击达到改变图标组件现实的联动效果。
通过配置将两个组件的字段进行关联,在源字段发生变化后自动触发将变化值传给联动的目标字段,从而实现了组件交互的过程。
而要做到不同页面之间的交互效果,需要配置组件穿透,比如通过对组件的点击穿透到另一个页面实现组件的穿透效果。
通过配置组件点击触发穿透到另一个页面,打开方式包括了标签,窗口等方式,而穿透方式则包括看板页面穿透和对外部链接的穿透,其中在配置看板页面穿透时需要选择对应的看板页面,下方的组件穿透和联动的配置方式也相同,通过对两个组件的字段进行关联配置即可。
3.4效果展现
通过对导航和组件的配置,用户可以更加直观地了解数据情况和分析结果,从而更好地支持决策和业务发展。接下来展示一下已经配置好的可视化页面,可以通过对图表的点击进行穿透,跳转到对应的二级页面以及报表。
4数据服务
DAP数据分析对外的内容并不只有可视化展现,还可以根据需要对外提供数据服务,DAP数据服务功能分别有:查询服务、接收服务、统计服务、业务服务。
DAP数据分析对外的内容并不只有可视化展现,还可以根据需要对外提供数据服务,DAP数据服务功能分别有:查询服务、接收服务、统计服务、业务服务。
4.1查询服务
查询服务是对数据集数据对外发布的一个服务,通过数据集编码和条件进行查询数据集中的数据,我们可以在查询服务模块中看到已经发布的数据集,在选中数据后,点击数据预览可以看到配置好的数据。
4.2接收服务
接收服务是对ODS数据抽取的一种方式,在创建ODS中间表时,在同步方式选择接口推送,同时勾选生成接收服务,就会在接收接口处生成一条服务,创建表之后可以在接收服务中找到刚创建的服务接口,业务系统就可以调用这个接口进行数据同步了。
4.3统计服务
统计服务是对立方体数据对外发布的一个服务,通过立方体编码和条件进行查询立方体数据。在立方体发布后可以在统计服务中看到该条数据,如下图。在统计服务中,可以通过配置条件,排序配置查询立方体中的数据。
4.4业务服务
业务服务来源于数据集、立方体、指标查询,通过这些机构配置单体、树形、主从动态对象模型。选择来源后,要设置选择关联关系、条件(条件通过数据集配置条件获取) 用于构建树形、主从这种特殊格式,支持查询条件过来查询,执行配置好的条件后即可展现出参展示。
5总结分析
数据分析是当今企业和组织中不可或缺的关键环节,它通过对海量数据进行分析和解读,帮助企业发现潜在机会和问题,从而提升竞争力、降低风险、实现可持续发展。
5.1过程总结
DAP数据分析配置过程包括数据收集、整合、模型配置、可视化和服务。首先,从内部系统、第三方数据提供商或公开数据源收集准确完整的数据。然后将不同来源的数据进行横向和纵向整合,以提供数据分析的全面视角。接着配置数据分析模型,提取有价值信息支持决策,通过图表和图像形式展示分析结果,提高表达效果。最后通过DAP数据服务为其他系统提供统一业务服务,建立数据资产体系和标准化过程。同时构建指标体系,实现全链路业务和全生命周期数据管理,为企业业务决策提供数据支撑。
5.2注意事项
1.数据收集:确保从数据源收集到的数据是准确、完整、一致的数据,选择适当的数据集成方式,例如源库读取等方式,以便于数据的管理和访问。
2.数据选择:在配置数据模型时根据实际需要选择数据,这取决于所要解决的问题类型和业务需求,以支撑数据的分析和可视化配置。
3.数据展现:将分析结果通过图表等形式进行可视化展示,将数据报表、业务数据有机地结合起来,有层次地展现,以更有效地支持业务。
4.数据服务:数据中台集成业务系统在展现层的数据一般不是本身系统的数据,直接进行抽取性能会变差,所以需要配置数据服务完成对数据的获取
5.3说在最后
DAP数据分析平台的价值主要体现在以下几个方面:
1.业务流程优化:通过对数据进行分析,了解关键业务指标和关联因素,识别出影响业务流程的痛点,并提出优化措施,实现流程效率的提升和成本的降低。
2.客户洞察和个性化营销:数据分析可以帮助用户深入了解客户的需求,为客户提供个性化的产品和服务,通过分析客户数据和市场数据,我们可以实现精准营销,增加收益和市场份额。
3.加强市场竞争力:通过对市场和竞争对手的分析,帮助企业制定更加有效的营销策略,提高企业的市场占有率,从而进一步加强企业的市场竞争力,完成企业的数字化转型。
DAP数据分析的意义在于提供实时准确的数据分析结果,洞察客户需求等方面。利用数据分析,可以增强竞争优势,提高效率和生产力,实现个性化营销,以及推动业务发展。同时DAP数据分析平台还可以为企业提供发展策略,进一步加强企业的市场竞争力,并完成数字化转型。