浅析数据仓库构架
目前数据仓库比较成熟并已形成理论的有两个：
Bill Inmon 企业信息工厂(CIF)
Ralph Kimball 多维体系结构(Ralph Kimball)
企业信息广场的模块
主要包括集成转换层(I&T)，操作数据存储(ODS)，数据仓库(EDW)，数据集市(DM)，
探索仓库(EW)等组件。
企业信息工厂的各个部件可以不断的相互调整，最终找到一种平衡。这也是
转载
2024-04-21 23:01:42
42阅读
0X00 前言 数据仓库的建设实施和落地需要团队中不同成员的参与和配合，需要各种各样 的规范， 规范的分层定义和表命名能让使用者轻而易举地明白该表的作用和含义。 因此本文档重点介绍分层规范和可落地的表命名规范。 01XX 数据分层 一、数据运营层：ODS(Operational Data Store) ODS 层，是最接近数据源中数据的一层， 为了考虑后续可能需要追溯数据 问题，因此对于这一层就不
转载
2024-07-01 19:47:19
125阅读
1. Git概述下载地址： https://git-scm.com/downloadGit是分布式版本控制系统（Distributed Version Control System，简称 DVCS） ，分为两种类型的仓库：本地仓库和远程仓库。本地仓库：是在开发人员自己电脑上的Git仓库远程仓库：是在远程服务器上的Git仓库
Clone：克隆，就是将远程仓库复制到本地Push：推送，就是将本地仓库代
目录1.表属性规范-11.常规表2.中间表3.临时表4.维度表5.手工表6.指标2.表属性规范-21.ODS层表名 2.DW事实表表名3.DW/DM维度表表名4.元数据表名3.其他数据库对象1.表属性规范-11.常规表常规表是我们需要固化的表，是正式使用的表，是目前一段时间内需要去维护去完善的表。规范：分层前缀[dwd|dws|ads|bi]_业务域_主题域_XXX_粒度。 业务域、主题
转载
2024-05-15 06:17:42
704阅读
因为需要管理google code上的代码，写这个博客作为笔记了。1. 使用GIT必须掌握的几个基本的概念repo：也就是repository的缩写，指的是代码仓库的意思，比如采用以下命令git clone http://code.google.com/p/vneo.vneo-unstable/取得代码拷贝后，会获得一个名字为./vneo.vneo-unstable/的目录，在该目录内的.git/
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个。 1. 概述数据模型是数据管理的分析工具和交流的有力手段；同时，还能够很好地保证数据的一致性，是实现商务智能（Business Intelligence）的重要基础
转载
2024-01-02 21:39:35
32阅读
1.docker介绍
docker是linux容器方案
docker可以很大的解决环境依赖问题
virtualenv是什么？
python解释器的虚拟环境，和操作系统无关
在机器上可以配置多个python解释器
docker环境依赖解决问题：
1.在物理操作系统上的一个环境隔离（虚拟环境）
docker使用命令回顾：
镜像
docker image ls
docker images
dock
# 数据仓库及其库命名规范
数据仓库是一个集成的、面向主题的、相对稳定的、时间变化的数据集合，支持决策制定和分析过程。随着企业数据量的不断增加，如何规范地管理和使用这些数据变得愈发重要。本文将讨论数据仓库中的库命名规范，并通过代码示例来加深理解。
## 一、库命名规范
库命名规范是指在创建数据库时如何为数据库命名的一套规则。这些规则有助于增强代码可读性、提高数据一致性以及促进团队协作。命名规
# 数据仓库sa命名规范实现指南
## 1.流程图
```mermaid
journey
title 数据仓库sa命名规范实现指南
section 制定sa命名规范
开发者->小白: 确定规范内容
小白->开发者: 完成规范文档
section 实施sa命名规范
开发者->小白: 指导小白实施
小白->开发
原创
2024-05-24 04:42:07
69阅读
文章目录一、 本地仓库账号设置二、 获取Git仓库4.2.1 在本地初始化Git仓库4.2.2 克隆远程仓库4.3 工作区、暂存区、版本库三、 本地仓库操作3.1 常用命令3.2 切换版本四、远程仓库操作4.1 添加远程仓库4.2 推送到远程仓库4.3 从远程仓库拉取五、分支操作5.1 查看分支5.2 创建分支5.3 切换分支5.4 推送至远程仓库分支5.5 分支合并六、标签操作 一、 本地仓库
转载
2024-04-26 09:25:38
1104阅读
阿里云数据仓库架构链接地址：https://www.aliyun.com/solution/datavexp
原创
2021-08-02 13:52:17
9818阅读
5.1 商品维度表（全量）1.建表语句DROP TABLE IF EXISTS dim_sku_info;
CREATE EXTERNAL TABLE dim_sku_info (
`id` STRING COMMENT '商品id',
`price` DECIMAL(16,2) COMMENT '商品价格',
`sku_name` STRING COMMENT '商品名称
俗话说无规矩不成方圆。我们在搭建数据平台的时候，需要先制定好各种规范，越早越好，并且不断的监督大家是否按照约定执行。一旦大家自由发挥，想要再次统一或者重构就非常的困难。会浪费很大的人力成本和时间成本，因此在这里总结一下数据仓库的规范关于项目常规来说，数仓的建设是按照数仓分层模型开发的。也有会按照业务线来分层，在各自业务线下重新分层，单独开发的。
转载
2023-10-16 17:49:40
133阅读
词根设计规范词根属于数仓建设中的规范，属于元数据管理的范畴，现在把这个划到数据治理的一部分。完整的数仓建设是包含数据治理的，只是现在谈到数仓偏向于数据建模， 而谈到数据治理，更多的是关于数据规范、数据管理。 表命名，其实在很大程度上是对元数据描述的一种体现，表命名规范越完善，我们能从表名获取到的信息就越多。比如：一部分业务是关于货架的，英文名是： rack，rack 就是一个词根，那我们就在所有的
转载
2024-01-26 09:14:18
163阅读
数据模型是数据管理的分析工具和交流的有力手段；同时，还能够很好地保证数据的一致性，是实现商务智能（Business Intelligence）的重要基础。因此建立、管理一个企业级的数据模型，应该遵循标准的命名和设计规范ODS层表名前缀为ODS_应用系统名（缩写）_数据表名 。数据表名称必须以有特征含义的单词或缩写组成，中间可以用“_”分割
转载
2024-03-06 16:59:16
220阅读
好久之前的文章，在其他平台写的，转移一下，之前的格式是Markdown，这里貌似效果不太好。最近几年工作中，接触到一些关于数仓建模的工作，说是建模，其实个人感觉自己也就入个门而已，有一点儿自己的理解，这里会简单整理下自己的想法结合找到的一些资料，分享给大家看看，可以多多交流。##### 什么是数据仓库
数据仓库（DataWarehouse），一般缩写成DW、DWH。数据仓库是一个面向主题的（
文章目录第8章 数仓开发之DIM层8.1 商品维度表8.2 优惠券维度表8.3 活动维度表8.4 地区维度表8.5 日期维度表8.6 用户维度表8.7 数据装载脚本8.7.1 首日装载脚本8.7.2 每日装载脚本 第8章 数仓开发之DIM层DIM层设计要点： （1）DIM层的设计依据是维度建模理论，该层存储维度模型的维度表。 （2）DIM层的数据存储格式为orc列式存储+snappy压缩。 （
什么是BI:即商业智能（Business Intelligence），是指通过对数据的收集、管理、分析以及转化，使数据成为可用的信息，从而获得必要的洞察力和理解力，更好地辅助决策和指导行动。BI 使得企业的决策者能够对企业信息进行有效、合理地分析和处理，为决策提供可靠的依据。BI应用包括决策支持、查询和报表、联机分析处理OLAP、统计分析、预测和数据挖掘等活动。什么是ETL:ETL(Extract
转载
2023-10-17 19:29:01
86阅读
一、概述 数据模型是数据管理的分析工具和交流的有力手段；同时，还能够很好地保证数据的一致性，是实现商务智能（Business Intelligence）的重要基础。因此建立、管理一个企业级的数据模型，应该遵循标准的命名和设计规范。二、命名规范1.表属性规范表名ODS层表名 前缀为ODS_应用系统名（缩写）_数据表名 。数据表名称必须以有特征含义的单词或缩写组成，中间可以用“_”分割，例如：
转载
2023-07-27 16:01:45
58阅读
REST 代表的是表现层状态转移（REpresentational State Transfer）它只是一种软件架构风格，是一组架构约束条件和原则，而不是技术框架。REST 规范把所有内容都视为资源，也就是说网络上一切皆资源。REST 架构对资源的操作包括获取、创建、修改和删除，这些操作正好对应 HTTP 协议提供的 GET、POST、PUT 和 DELETE 方法。1.URI规范资源名使用名词而
转载
2024-05-30 10:47:32
166阅读
