分层架构数据层是什么数据分层管理

转载

mob64ca140d96d9 2023-11-20 08:52:41

文章标签 分层架构数据层是什么数据解耦复杂度 文章分类 架构后端开发

一. 数据分层的原因

二. 数据分层的意义

三. 如何设计数据分层

四. 数据分层的思考

一. 数据分层的原因

首先从宏观上来讲，数据分层是为了更好的去组织、管理、维护和使用数据。为了达到以上目的，采用了数据解耦的方式来实现，而数据分层就是解耦的方式之一，另外一种方式就是主题域划分。

数据分层不是为了分层而分层，分层是为了解决ETL任务及工作流的组织、数据的流向、读写权限的控制、不同场景满足等各类实际问题的。

越上层的模型，聚合程度越高，对数据应用越友好，但可理解程度就越低。越偏近底层的模型，数据颗粒度会越细，信息含量会越多，但获取或处理的数据成本和效率会偏低。

二. 数据分层的意义

序号	意义项	解释说明
1	清晰的数据结构	每层数据都有各自的作用域和职责，在使用数据表的时候更方便定位和理解。
2	数据血缘追踪	但多数场景下最终给业务呈现的是一个能直接使用的汇总报表表，但表的数据来源有很多，如果有一张来源数据表出问题了，我们希望能够快速准确的定位到问题，并清楚它的影响范围，从而及时给到业务方反馈，把损失降到最低。
3	减少重复开发和数据冗余	数据分层处理，把有共有的逻辑沉淀到中间数据层，来减少重复计算和烟囱式开发带来的计算资源和存储资源的浪费。
4	复杂问题简单化	通过数据分层，将复杂的业务数据处理拆解为多层，每一层数据表负责解决特定的问题，以此来简化复杂业务逻辑，每一层更容易理解和维护。当数据出现问题时，可以通用修复所有的数据，只要从有问题的步骤开始修复就可以，提高了修复解决效率。
5	统一数据口径	通过数据分层，把有共有的逻辑沉淀到中间数据层，提供统一的数据出口，保障了对外输出数据的口径一致。
6	更方便的权限控制	通过数据分层，针对不同粒度，层级的数据可以更好的控制权限的管理，降低管理复杂度。
7	屏蔽业务快速变化	通过数据分层，把业务逻辑进行拆解和解耦，越上层的数据表对与业务的变化感知变化越低，只需要迭代底层变动部分的逻辑即可，提高数据的健壮性和迭代效率。