ESB数据中台数据中台 oneid

转载

mob64ca14150f43 2024-04-19 14:38:36

文章标签 ESB数据中台 big data 人工智能大数据建模 文章分类 架构后端开发

这里是目录

一、数据建模

1.何为onedata建模
2.如何进行onedata建模
3.建模中涉及到的如何进行统一指标拆解

二、建模的两点思考

一、数据建模

提在开头：数据建模是整个数据中台的核心，涉及到很多行业最佳实践研究和落地，也涉及到很多方法论的落地，建模的好坏直接影响最终中台的数据质量和效率，也许我不是这一块的专家，但我会尽量将我的个人经验和想法一一写出供大家讨论

1.何为onedata建模

阿里云 OneData 数据中台解决方案基于大数据存储和计算平台为载体，以 OneModel 统一数据构建及管理方法论为主干，OneID 核心商业要素资产化为核心，实现全域链接、标签萃取、立体画像，以数据资产管理为皮，数据应用服务为枝叶的松耦性整体解决方案。其数据服务理念根植于心，强调业务模式，在推进数字化转型中实现价值。

2.如何进行onedata建模

ESB数据中台数据中台 oneid_大数据

这里紧接上文业务调研产出物 总线矩阵 介绍，从总线矩阵中其实能得到我们总结的 业务过程 与 一致性维度，从这两者我们就可以得到与之相对应的事实表与维度表

业务过程：指企业的业务活动事件，注意业务过程是一个不可拆分的行为事件。此定义来源于Kimball维度建模，可能过于抽象，如果以个人经验来总结的话，业务过程其实就是动作，这个动作可能是用户动作，如登录、下载、注册、下单等等；有可能是运营动作，入投放、发offer、催收外呼等等；当然还有可能是系统动作，如曝光、闪退等。这些动作我们要结合分析场景来定义业务过程，如果一个动作需要分析的东西很细，那业务过程就需要定义的更细，如果没多大业务意义，只考虑粗粒度的就需要总结出更上层次的业务过程，总之业务过程是和事实表对应，具体粗细直接影响后面建模的粒度。
一致性维度：其实在在Kimball中没有提及一致性维度，在我们这个中台项目中是阿里带入的一个概念，我称之为高层次的维度，简单来说就是公司级别的维度，整个公司通用。那在反过来看下什么是维度，维度是度量的环境，用来反映业务的一类属性，这类属性的集合构成一个维度，也可以称之为实体对象，用我的话总结就是在业务过层中涉及到的实体或者对象即为维度。如卡、设备、国家、省份等，当然还有时间。
事实表与维度表可见此文章，个人觉得讲的其实很清楚了https://www.modb.pro/db/77987
另外上图中的各种指标与限定详细 https://help.aliyun.com/document_detail/290873.html 阿里云官网，还是挺清楚的

3.建模中涉及到的如何进行统一指标拆解

举个详细的🌰：拆解金融指标 各还款🈷️预期M2+逾期率
步骤一：判定指标归属类别，在熟悉完原子指标、派生指标、衍生指标甚至说衍生原子指标定义后，我们就能够清晰的判断出指标类型，此指标为衍生指标
步骤二：确定衍生指标由什么派生计算得来，此指标为
各还款月预期M2+金额/各还款与应还金额，即派生指标A：各还款月预期M2+金额派生指标B：各还款与应还金额
步骤三：进一步拆分派生指标
各还款月预期M2+金额：
原子指标A：剩余未还总金额（⚠️这里的剩余未还不属于业务限定，只是原子指标名称，与事实表对应）
业务限定：预期M2+
维度：还款月
原子指标A：应还总金额
维度：还款月
步骤四（如果以上原子指标与相关限定都已定义完成可省略）：定于相关原子指标与业务限定（即建模过程）