第1章 数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名ODS层命名为ods_表名 DIM层命名为dim_表名 DWD层命名为dwd_表名 DWS层命名为dws_表名 DWT层命名为dwt_表名 ADS层命名为ads_表名 临时表命名为tmp_表名1.3.2 脚本命名数据源_to_目标_db/log.sh 用户行为脚本以log为后缀；业务数据脚本以d
转载
2024-10-30 20:28:53
11阅读
第1章 数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名ODS层命名为ods_表名 DIM层命名为dim_表名 DWD层命名为dwd_表名 DWS层命名为dws_表名 DWT层命名为dwt_表名 ADS层命名为ads_表名 临时表命名为tmp_表名1.3.2 脚本命名数据源_to_目标_db/log.sh 用户行为脚本以log为后缀；业务数据脚本以d
转载
2024-10-15 11:34:13
17阅读
文章目录数仓什么是数仓数仓的特点数仓分层数据应用个人经验总结寄语 数仓什么是数仓数据仓库(Data Warehouse,可简写为DW或DWH)。数据仓库,是为企业重要的数据战略集合。它出于分析性报告和决策支持目的而创建。提供指导业务流程改进、监视时间、成本、质量以及控制。没有采用数仓前，企业统计业务数据，容易出现数据统计错误，不同的人统计的结果不同（采用不一致的数据源，不同的统计方法），为了保证
转载
2023-09-22 15:16:51
127阅读
数据仓库数据仓库（英语：Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（Decision Support）。OLTP 与OLAPOLTP（On-Line Transaction Processing）:联机事务处理，典型代表是关系型数据库(mysql)，它的数据存储在服务器本地的文件里O
转载
2023-10-09 21:48:13
57阅读
导读：供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。菜鸟跨境进口业务场景更是如此，更复杂的场景带来更复杂的实体数据模型，对接的业务系统多导致ETL流程特别复杂，还有海量的日均处理数据量，使得团队在建设进口实时数仓的过程中，面临着诸多挑战：如何保证复杂实体关系下的数据准确性？如何降低多数据源情况下的数据处理复杂度？如何提升实时多流Join的处理效率？如何实现实时超时
最近我们公司在建立数仓，想要建立一套以Greenplum为核心的混合架构数据仓库。在这里，只想谈谈我对数据仓库的一些看法。什么是数据仓库面向主题的，集成的，相对稳定的，反映历史变化的数据集合，用于支持管理决策。 为什么需要数仓首先，我们公司是做高校大数据的。高校的数据源形式多样，oracle、sqlserver、mysql，excel、dbf等等，异构性强。以前我们的做法是将
转载
2024-09-18 19:42:32
88阅读
概述分层模型设计ODS层设计DWD层设计DIM层设计DWS层设计ADS层设计 概述 上一篇主要阐述了 OneData 建模体系中的规范定义部分，而本篇主要阐述的是分层模型设计部分。当了解到每一个业务过程与维度的关联，就可以基本明确需要设计事实表与维度表；再通过明确统计指标的深入分析，就可以下沉某些相同计算逻辑。这是数仓的基本架构雏形已明确，而接下来则是设计各个表如何设计。例如：什么样的表放
转载
2024-05-28 11:24:42
93阅读
# 如何实现 MySQL 数据仓库
在现代的数据管理中，数据仓库作为信息管理的核心部分，帮助企业分析和利用数据。MySQL 数据仓库特别适合中小规模的企业使用，因其开源和高效的特点。本文将指导你如何从零开始构建一个 MySQL 数据仓库，内容包含数据过程的各个步骤，代码示例，以及流程和结果的可视化。
## 数据仓库实施流程
下面是实施 MySQL 数据仓库的简要步骤：
| 步骤
# 如何实现数仓 MySQL：新手入门指南
在现代数据分析与处理中，数据仓库（Data Warehouse）是一个至关重要的组成部分。通过为大规模数据分析提供灵活和高效的存储解决方案，数据仓库可以帮助企业从众多数据中提取出有价值的信息。本文将指导你如何使用 MySQL 实现一个基本的数据仓库。
## 整体流程图
首先，让我们看一下实现数据仓库的整体流程。
```mermaid
flowch
原创
2024-08-06 13:30:59
52阅读
一、前言因为工作需要后续要引入使用人大金仓的数据库，本次先尝试在虚拟机环境完成人大金仓的数据库安装工作，特记录如下。二、环境准备（一）操作系统1、安装版本本次选择使用Ubuntu Server 22.04.2 LTS版本，下载地址如下：获取Ubuntu服务器版https://cn.ubuntu.com/server2、系统安装本次采用在Windows10环境下进行试验，首选使用Hyper-V进行安
转载
2024-09-30 09:30:56
48阅读
1. 金仓数据库的发展历史 KingbaseES数据库是人大金仓自主研发的一种通用关系型数据库，产品融合了人大金仓在数据库领域几十年的产品研发和企业级应用经验，可满足各行业用户多种场景的数据处理需求。 目前，KingbaseES产品的最新版本是KingbaseES V8.6 ，产品的发展历程如下： 起步阶段 （KingbaseES V1）1999年，北京人大金仓信息技术股份有限公司由中国人民
转载
2023-11-03 14:12:28
102阅读
# 什么是数仓架构
## 引言
在近年来的数据驱动决策过程中，数据仓库（Data Warehouse，简称数仓）成为了企业信息化建设的重要组成部分。数仓架构是实现数据整合、分析和利用的重要框架。本文将探讨数仓架构的基本概念、重要组成部分以及如何实现基本的数仓功能，并提供一些代码示例，以帮助读者理解。
## 数仓架构的基本概念
数据仓库的核心目标是将来自不同源的数据进行整合，以支持复杂的查询
原创
2024-09-12 06:26:06
35阅读
“万物互联，数据和石油一样成为重要的战略资源，数据库行业不会一直是赢家通吃，市场上有大量的机会”，我在给新入职员工做培训时，销售部好兄弟张超电话打来告知我来活了嘿，下午一点到Costa碰面。这是我入职人大金仓的第10年，早在大三时我就报名参加了人大金仓的免费培训班，毕业论文也是受到冯玉老师课程的启发，大学毕业后加入人大金仓，从一个实施工程师成长为高级项目经理后的第三年，已主导十多个信创领域国产化升
理解数据仓库之前在工作中参与了公司一个细分业务的宽表和数据仓库的建设，因此对数仓和宽表有了进一步的理解。 在我的理解中，数据仓库最大的特点是集成，即将不同的数据来源和不同形式的数据整合在一起。我们通常所说的数据库，一般都是遵循一定的标准范式的。比如，MySQL就遵循第三范式，具体内容包括三点：1、表中的每一个字段都是不可再分的原子；2、每一列都和主键依赖；3、每一列和主键的依赖是直接依赖，而非间接
转载
2024-04-28 12:12:51
80阅读
什么是数仓数仓全称Data Warehouse,简称DW。是一个面向主题，集成的，相对稳定的，反应历史变化的数据存储中心，可以面向复杂业务模块数据进行解耦，提供标准化，通用性数据支撑。
说道这里可能会想，这和传统的数据有啥区别？一般业务产生的数据来源于数据库，直接从数据库进行数据分析，数据支撑不是更方便吗？为啥还需要经过一系列复杂步骤进行数据抽取数据加工绕一大层再来反哺呢？
我们先想下这个问题，互
转载
2023-11-29 21:39:04
141阅读
什么是数据库？数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。 每个数据库都有一个或多个不同的 API 用于创建，访问，管理，搜索和复制所保存的数据。 RDBMS 即关系数据库管理系统(Relational Database Management System)的特点：数据以表格的形式出现每行为各种记录名称每列为记录名称所对应的数据域许多的行和列组成一张表单若干的表单组成da
转载
2024-10-30 19:52:32
15阅读
# 数仓兼容MySQL：一次轻松的旅程
在现代数据管理中，数据仓库（数仓）作为分析和存储的核心，扮演着越来越重要的角色。随着数据量的激增，如何高效地管理和分析这些数据成为了一个不容忽视的课题。在这篇文章中，我们将探讨数仓与MySQL之间的兼容性，以及如何将MySQL的优势与数仓的强大功能结合在一起。
## 什么是数据仓库？
数据仓库是一种用于存储和处理大量数据的系统，通常对数据进行ETL（提
原创
2024-10-13 05:25:50
74阅读
# MySQL 数据仓库
## 什么是数据仓库？
数据仓库是一个用于集中存储和管理企业数据的系统。它是一个专门设计的数据库，用于支持企业的决策制定过程。数据仓库通常用于存储大量历史数据，并结合数据分析工具，帮助企业从数据中提取有价值的信息，以支持决策制定。
数据仓库的设计和建设需要考虑到数据的存储、处理和查询等各方面，以保证数据的准确性、完整性和时效性。
## MySQL 数据库
MyS
原创
2024-04-29 07:06:38
74阅读
做数据仓库的头两年，使用高配置单机 + MySQL的方式来实现所有的计算（包括数据的ETL，以及报表计算。没有OLAP）。用过MySQL自带的MYISAM和列存储引擎Infobright。这篇文章总结了自己和团队在那段时间碰到的一些常见性能问题和解决方案。P.S.如果没有特别指出，下面说的mysql都是指用MYISAM做存储引擎。利用已有数据，避免重复计算业务需求中往往有计算一周/一个月的某某数据
1.背景介绍HBase的数据实时处理与流处理1.背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase的核心特点是提供低延迟、高吞吐量的随机读写访问，适用于实时数据处理和流处理场景。在大数据时代，实时数据处理和流处理技术已经成为企业和组织的核
