文章目录一、业务库1.1 数据模型1.2生成数据二、数据仓库2.1 模型搭建2.1.1 选择业务流程2.1.2 粒度2.1.3 确认维度2.1.4 确认事实2.1.4.1 建立物理模型2.1.4.2 建库、装载数据三.编写脚本配合 crontab 命令实现 ETL 自动化 一、业务库1.1 数据模型源系统是 mysql 库，数据模型如下1.2生成数据-- 建库
CREATE DATABASE I
转载
2023-12-09 20:15:03
50阅读
1、缘由 本文主要涉及的是建表，不是计算指标。2、mysql表 假设mysql中存在下面的八张表： 3、ods ods层和源数据最好保持一致： //创建用户表
drop table if exi
转载
2023-08-10 23:44:11
183阅读
关联文章： 数据仓库应用（二）：数据抽取、转换、加载（ETL） 数据仓库应用（三）: SQL Server 2005的数据仓库应用–联机分析OLAP一、问题背景某电子商务网站主要销售电子类产品，产品又分为几个大类别，包括：电脑类、手机类、键盘类等，每个类别内又细分为几个小类别，各类别下又有诸多的商品，每一个商品都有一个唯一的商品编号。用户可以通过注册成为会员来进行商品的下单购买。用户下单后会由系统
转载
2024-06-21 18:50:23
61阅读
一、典型的数据仓库建模思想一般主流分为两种第一种 ER模型是数据仓库之父父 Bill lnmon 提出的建模方法是从全企业的高度设计 3NF 模型，用实体关系（ Entity Relationship, ER ）模型描述企业业 务，在范式理论上符合 3NF 。后续又有人通过在其基础进行衍生和优化发展了 Data Vault 模型和Anchor 模型（具体类型思想可自行资料） 第二种 维度模型：维度
转载
2023-08-13 16:34:04
216阅读
作者 author 诸葛子房，目前就职于一线互联网公司，中国Hbase技术社区委员，从事大数据相关工作。了解互联网、大数据，一直在努力的路上。 一、实时数仓和离线数仓 由于离线数仓每天凌晨拉去线上生成数据库(凌晨请求较少，减少线上库压力)，导致数据是T+1，而对于一些时效性要求较强的场景。比如需要看现在的用户数、GMV等等，离线方案就很难解决了。实
转载
2023-11-30 18:29:37
148阅读
对于数据仓库的理解，数据仓库主要为的解决什么问题？数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision-Support）。（为什么要面向主题？面向主题是数据仓库的第一特性，主要是指合理地组织数据以
转载
2024-01-02 21:56:41
36阅读
数仓1. 数据分层1.1 ods层1.2 dw层1.2.1 dwd层1.2.2 dws层1.2.3 dim层1.3 dm层2. 表的种类和特征3. 拉链表4. 数据建模4.1 业务建模4.2 领域概念建模4.3 逻辑建模4.4 物理建模5. 数据模型5.1 星型模型5.2 雪花模型5.3 星系模型5.4 Data Vault模型6. 建模方法6.1 范式建模法（ThirdNormal Form，
转载
2024-01-14 09:03:57
49阅读
本文内容数据仓库的基本概念和数据中心的体系架构。有关商业智能和数据仓库的重要术语了解数据中心建设过程了解公司数据仓库项目重要案例历史沿革计算机数据管理的历史：1961年通用电气开发出网状数据库管理系统— 集成数据存储(Integrated DataStore IDS)。1968 年IBM 公司开发出层次数据库的IMS (Information Management System)。1970年关系模
转载
2024-01-03 12:40:04
75阅读
本文翻译自：https://databricks/blog/2020/01/30/what-is-a-data-lakehouse.html1. 引入在Databricks的过去几年中，我们看到了一种新的数据管理范式，该范式出现在许多客户和案例中：LakeHouse。在这篇文章中，我们将描述这种新范式及其相对于先前方案的优势。数据仓库技术自1980诞生以来一直在发展，其在决策支持和商业智能
转载
2024-08-21 17:18:11
23阅读
文章目录基于Hadoop的数据仓库Hive的介绍、安装与基本应用一、概述二、Hive系统架构三、Hive工作原理四、Hive HA基本原理五、Impala六、Hive安装七、Hive编程实战附一：管理表(内部表)附二：外部表附三：分区表附四：Hive SQL 查询函数手册 基于Hadoop的数据仓库Hive的介绍、安装与基本应用一、概述数据仓库概念数据仓库(Data Warehouse)是一个面
转载
2023-10-03 11:45:53
117阅读
一、数据采集项目总结1.数据仓库数据仓库是保存数据，为企业提供数据支持2.数据的分类业务数据： 记录的是订单的信息！ 行为数据： 记录的是下单的过程发生的信息！2.1用户业务数据是什么：用户使用平台（电商）时产生的和电商的业务紧密相关(购买，下单，支付，收藏，搜索 )的数据！产生：用户在使用APP时，产生！如何存：关系型数据库为什么：事务是区分场景可以使用RDMS和NoSql的核心要素！ RDMS
转载
2024-06-13 18:58:18
44阅读
前言 今天给大家分享下数仓中的模型设计，一个好的数仓项目首先看一下它的架构以及他所用到的模型，它们使用的模型也都是非常巧妙的，好了，我们话不说到直接开始。一、维度建模基本概念 维度模型是数据仓库领域大师Ral
转载
2024-09-02 11:08:03
22阅读
[数据仓库----hive进阶篇二（表的链接，子查询，客户端jdbc和Thrift Client操作，自定义函数）](javascript:void(0))一、数据的导入1、使用Load语句执行数据的导入1.语法：其中（中括号中表示可加指令）：
LOCAL：表示指定的文件路径是否是本地的，没有则说明是HDFS上的文件路径。
OVERWRITE：表示覆盖表中的已有数据
转载
2023-07-13 00:18:35
199阅读
文章目录Hive数据仓库——Hive SQL练习练习前准备1、启动hive2、在hive中创建test1数据库3、切换test1数据库4、创建students表5、创建score表6、查看表信息练习1、模仿建表语句，创建subject表，并使用hdfs dfs -put 命令加载数据2、查询学生分数（输出：学号，姓名，班级，科目id，科目名称，成绩）3、查询学生总分（输出：学号，姓名，班级，总分
转载
2023-09-02 17:15:14
442阅读
数据仓库概念1.概念模型设计所要完成的工作是:(1)界定系统边界要做的决策类型有哪些？决策者感兴趣的是什么问题？这些问题需要什么样的信息？要得到这样信息需要包含原有数据库哪些数据？(2)确定主要的主题及其内容:主题是基于业务来说的，不是技术本身。如果业务能够按照一定规模分割出独立的几个模块，那每个模块就是一个主题域。这是分而治之的思想 客户主题的含义可以简单给你解释为以客户号为主键的事实
转载
2023-07-14 11:17:13
110阅读
许久不见。咱们接着之前的来讲，你应该按我说的把kettle给学了一遍了吧？没学的话请赶紧去学，否则后面你也看不懂。 咱们今天从数仓理论开始讲！数据仓库维度模型设计1 维度建模基本概念 维度模型是数据仓库领域大师Ralph Kimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，构建的数据模型为分析需求服务，因此它重点解决用户如何更快
一、环境准备1.hadoop集群环境2.完整的Hive服务环境（连接了远程元数据库服务）注：hadoop集群或者hive服务没有搭建，请从参考前面的文章
二、实践准备1.启动hadoop集群启动hadoop三台机器，然后在主节点机器上启动hadoop集群：start-all.sh2.启动Hiveserver服务在hive机器上启动hiveserver服务：hive --servic
转载
2023-07-20 20:09:41
250阅读
拉链表是数据仓库中特别重要的一种方式，它可以保留数据历史变化的过程，这里分享一下拉链表具体的开发过程。维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。这里用商品价格的变化作为例子，具体的开发过程要按实际的来，不能照搬代码，编程重要的是了解背后的思路和原理，而不是ctrl+c和
转载
2023-09-14 18:37:23
130阅读
“设计”——暗含了可以预先对组成单元进行规划的意思，“兵马未动，粮草先行”体现了前人在规划事情的聪明才智。但是数据仓库的需求只有在已经装载了部分数据并开始使用的时候才能弄清楚，因此，过去很有效的设计方法在设计数据仓库时并不能满足需要。数据仓库是在启发方式下建造的，过程中后一个阶段开发完全依赖于上一个阶段获得的结果。下面对设计数据仓库的几个主要过程进行分享。设计师的手稿1.从操作型数据开始什么是操作
转载
2023-08-12 21:30:36
122阅读
系列文章目录 文章目录系列文章目录前言一、数据仓库是什么？二、数据仓库的用处三、数据仓库的产生原因OLTP（On-Line Transaction Processing）OLAP（On-Line Analysis Processing）四、数据仓库的数据来源五、数据库、数据仓库、数据集市的关系 前言提示：以下是本篇文章正文内容，下面案例可供参考一、数据仓库是什么？数据仓库是一个数据系统二、数据仓库
转载
2024-01-11 17:03:45
36阅读
