目录1.表属性规范-11.常规表2.中间表3.临时表4.维度表5.手工表6.指标2.表属性规范-21.ODS层表名 2.DW事实表表名3.DW/DM维度表表名4.元数据表名3.其他数据库对象1.表属性规范-11.常规表常规表是我们需要固化的表，是正式使用的表，是目前一段时间内需要去维护去完善的表。规范：分层前缀[dwd|dws|ads|bi]_业务域_主题域_XXX_粒度。 业务域、主题
转载
2024-05-15 06:17:42
707阅读
# 数据仓库的DIM层探秘
## 1. 什么是数据仓库？
数据仓库是为了决策支持而设计的一种数据库系统，它聚合来自不同数据源的历史数据，通过分析和查询支持业务决策。在数据仓库的架构中，通常分为多个层次，其中DIM层（维度层）是至关重要的一部分。
## 2. DIM层的概念
DIM层，亦称为维度表，是数据仓库中特定的一类表格，用于存储描述性数据。这些维度数据提供了多维数据分析的基础，帮助用户
8. 数仓开发之 DIM 层商品维度表流程汇总图SKU信息表（sku_info）SPU信息表（spu_info）一级分类表（base_category1）二级分类表（base_category2）三级分类表（base_category3）品牌表（base_trademark）SKU平台属性值表（sku_attr_value）SKU销售属性表（sku_sale_attr_value）建表语句数据装
转载
2023-10-16 13:05:17
148阅读
0x01 如何分层结合Inmon和Kimball的集线器式和总线式的数据仓库的优点，分层为ODS【-MID】-DW-DM-OLAP/OLAM/app ODS层是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中，数据经过了一定的清洗，比如字段的统一，脏数据的去除等，但是数据的粒度是不会变化的。ODS层的数据可以只保留一定的时间。MID中间层是采用Inmon集线器架构
转载
2024-02-23 11:14:22
42阅读
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个。 1. 概述数据模型是数据管理的分析工具和交流的有力手段；同时，还能够很好地保证数据的一致性，是实现商务智能（Business Intelligence）的重要基础
转载
2024-01-02 21:39:35
32阅读
数据仓库解决什么问题1、将各种数据源整合到一起统一数据中心，解决数据壁垒。 <仓库的集成性特点>2、脏数据清洗，简化业务复杂结构数据。3、规范表、字段名称，统一字段数据格式，完善注释内容。4、保留历史变更数据，提供对细节变化分析支持。5、生产适合OLAP的大宽表，方便用户多维度快速分析。 <仓库的主题性特点>6、数据质量的保证和指标口径的一致性分层设计的优势一般来说数据仓库
转载
2023-07-11 00:29:11
176阅读
# 数据仓库 DW 层聚合模型命名规范
在现代数据分析中，数据仓库（Data Warehouse, DW）是企业进行决策支持的重要工具。它将来自多个操作性系统的数据汇总、整理，并供更高级的分析使用。聚合模型是数据仓库的重要组成部分，其通过对数据进行分组与汇总，帮助分析人员快速获取洞察。本文将讨论DW层聚合模型的命名规范，并提供相关的代码示例和关系图、旅行图的可视化展示。
## 一、聚合模型的概
# 如何实现数据仓库的维度表（DIM）
在数据仓库的构建中，维度表（DIM）是核心组成部分之一。它用于存储与业务过程直接相关的所有信息，如客户、产品、地理位置等，能够帮助我们更好地进行数据分析。本文将指导一名刚入行的小白如何实现维度表（DIM），并通过流程图和关系图来阐明整个过程。
## 整体流程
下面是创建维度表的一般流程：
| 步骤 | 描述
文章目录零 DIM层最终建模结果一 商品维度表（全量）1 商品维度表2 建模过程分析3 建表语句4 装载数据（1）逐步分析（2）完整装载sql二 优惠券维度表（全量）1 建表语句2 数据装载三 活动维度表（全量）1 建表语句2 数据装载四 地区维度表（特殊）1 建表语句2 数据装载五 时间维度表（特殊）1 建表语句2 数据装载（1）创建临时表格（2）上传到HDFS（3）导入（4）校验 零 DIM
转载
2023-08-27 09:47:03
119阅读
数据仓库搭建之DIM层搭建在开发数据仓库的DIM层时，我们需要注意以下几点：1）DIM层的设计依据是维度建模理论，该层存储维度模型的维度表。2）在我们该项目当中，DIM层的数据存储格式为orc列式存储+snappy压缩。3）DIM层表名的命名规范为dim_表名_全量表或者拉链表标识（full/zip）。1.维度确定我们根据之前构建的业务总线矩阵，来确定我们当前需要构建的维度表。 我们可以看到，我们
转载
2023-07-18 13:44:14
273阅读
1.虽然各个公司的数据仓库各层名称各不相同，但是总体上大同小异，都包括ODS(Operation Data Store)原始数据层，公共数据层CDM（Common Data Model），又称公共数据模型，和应用数据层APP（或者叫ADS） 。ODS层：原始数据层，主要是将源系统数据抽取到数仓环境，不作任何处理，同时要存历史数据CDM层：公共模型层，CDM层是数据仓库的核心，也是数据仓库设计是否合
转载
2020-08-13 17:33:00
22阅读
目录DIM层设计要点：8.1 商品维度表1）建表语句2）数据装载8.2 优惠券维度表1）建表语句2）数据装载8.3 活动维度表2）数据装载8.4 地区维度表1）建表语句2）数据装载8.5 日期维度表1）建表语句2）数据装载8.6 用户维度表（拉链表）1）建表语句2）分区规划3）数据装载8.7 数据装载脚本8.7.1 首日装载脚本8.7.2 每日装载脚本DIM层设计要点：（1）DIM层的设计依据是维
转载
2023-08-26 15:54:24
149阅读
一. 各种名词解释1.1 ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。本层的数据，
转载
2023-07-08 18:07:29
440阅读
目录一：DIM层设计要点 二：DIM层大概实操流程 2.1 读取数据 2.2 过滤数据 2.3 写出数据 三：配置表3.1 配置表设计 四：实操流程4.1 接收Kafka数据，过滤空值数据4.2 动态拆分维度表功能4.3 把流中的数据保存到对
转载
2023-09-06 12:28:21
166阅读
词根设计规范词根属于数仓建设中的规范，属于元数据管理的范畴，现在把这个划到数据治理的一部分。完整的数仓建设是包含数据治理的，只是现在谈到数仓偏向于数据建模， 而谈到数据治理，更多的是关于数据规范、数据管理。 表命名，其实在很大程度上是对元数据描述的一种体现，表命名规范越完善，我们能从表名获取到的信息就越多。比如：一部分业务是关于货架的，英文名是： rack，rack 就是一个词根，那我们就在所有的
转载
2024-01-26 09:14:18
163阅读
俗话说无规矩不成方圆。我们在搭建数据平台的时候，需要先制定好各种规范，越早越好，并且不断的监督大家是否按照约定执行。一旦大家自由发挥，想要再次统一或者重构就非常的困难。会浪费很大的人力成本和时间成本，因此在这里总结一下数据仓库的规范关于项目常规来说，数仓的建设是按照数仓分层模型开发的。也有会按照业务线来分层，在各自业务线下重新分层，单独开发的。
转载
2023-10-16 17:49:40
139阅读
什么是BI:即商业智能（Business Intelligence），是指通过对数据的收集、管理、分析以及转化，使数据成为可用的信息，从而获得必要的洞察力和理解力，更好地辅助决策和指导行动。BI 使得企业的决策者能够对企业信息进行有效、合理地分析和处理，为决策提供可靠的依据。BI应用包括决策支持、查询和报表、联机分析处理OLAP、统计分析、预测和数据挖掘等活动。什么是ETL:ETL(Extract
转载
2023-10-17 19:29:01
86阅读
# 数据仓库sa命名规范实现指南
## 1.流程图
```mermaid
journey
title 数据仓库sa命名规范实现指南
section 制定sa命名规范
开发者->小白: 确定规范内容
小白->开发者: 完成规范文档
section 实施sa命名规范
开发者->小白: 指导小白实施
小白->开发
原创
2024-05-24 04:42:07
69阅读
# 数据仓库及其库命名规范
数据仓库是一个集成的、面向主题的、相对稳定的、时间变化的数据集合，支持决策制定和分析过程。随着企业数据量的不断增加，如何规范地管理和使用这些数据变得愈发重要。本文将讨论数据仓库中的库命名规范，并通过代码示例来加深理解。
## 一、库命名规范
库命名规范是指在创建数据库时如何为数据库命名的一套规则。这些规则有助于增强代码可读性、提高数据一致性以及促进团队协作。命名规
阿里云数据仓库架构链接地址：https://www.aliyun.com/solution/datavexp
原创
2021-08-02 13:52:17
9818阅读
