迁移无小事，所以从开始计划将公司的Greenplum集群迁移，到最后落地，整个过程虽然说不上是波折，但是也算是有不少的故事，各种准备和协调。 这次的迁移是集群的物理搬迁，听起来似乎也没有太多的亮点，但是如果这个集群有上百个节点，这个难度和复杂度就会比预期高出许多。 &nb
转载
2024-10-23 15:21:14
40阅读
我们为某个程序创建的特定的数据库一般称为事务型数据库(Transaction Database), 它和Data Warehouse(DW)还是有很大差别的.1. 事务数据库帮助人们执行活动，而数据仓库帮助人们做计划。例如，事务数据库可能显示航班的哪些座位是空的，这样旅客可以进行预定。而数据仓库用于展示空座率情况的历史信息，以让航班管理员决定在未来是否要调度航班。2. 事务数据库关注细节，而数据
转载
2024-07-16 23:02:35
25阅读
# GP数据仓库集群搭建
随着大数据时代的到来，数据仓库成为企业管理数据的重要工具。Greenplum（GP）作为一款开源的数据仓库解决方案，其分布式架构能够有效处理大规模数据，为企业提供强大的分析能力。本文将深入探讨如何搭建一个GP数据仓库集群，并提供相关代码示例。
## 1. 环境准备
首先，我们需要准备搭建GP数据仓库的环境。这通常包括多个节点的服务器，推荐使用Linux（如CentO
文章目录一、vacuum的背景1.1 常见数据库MVCC实现对比二、vacuum工作机制2.1 vacuum2.2 autovacuum 我们常用的关系型数据库有MySQL、Oracle、SQL Server、PostgreSQL等…但是vacuum的概念只有PG数据库有，而且运维过PG数据库的工程师都应该对它很熟悉，vacuum是PG数据库非常关键的一个操作。那么PG数据库的vacuum是用
转载
2023-11-29 17:53:02
149阅读
su - gpadmin
gpstart #正常启动
gpstop #正常关闭
gpstop -M fast #快速关闭
gpstop –r #重启
gpstop –u #重新加载配置文件
登陆与退出Greenplum
#正常登陆
psql gpdb
psql -d gpdb -h gphostm -p 5432 -U gpadmin
转载
2023-10-28 06:18:33
155阅读
问题导读：1. 数仓数据采集模块集群规划是怎么样的？2. 数仓日志生成模块的配置是怎么样的？3. 数仓数据采集模块Kafka如何进行优化？一、数据采集模块【1】Linux环境搭建 Linux配置请看这篇博客Linux基本配置【2】Hadoop环境搭建1）基础环境创建[node01]
cd ~
mkdir bin
cd bin
vim xsync
=======================脚本如
转载
2023-12-25 10:40:35
106阅读
讲数据仓库涉及到的基本概念。
转载
2021-07-26 11:19:43
1101阅读
前面的文章中讲到了OLTP、OLAP的概念，简单回顾下一个是代表像业务系统，主要处理业务流程的。一个是代表BI的分析型系统，主要是处理分析的，典型的代表就是数据仓库。OLTP就是Online Transaction Processing System，在线事务处理系统;OLAP则是Online Analytical Processing System，在线分析处理系统。但是严格意义上来讲，OLAP
转载
2023-09-05 16:25:47
158阅读
数据仓库系统是一个信息提供平台，他从业务处理系统获得数据，主要以星型模型和雪花模型进行数据组织，并为用户提供各种手段从数据中获取信息和知识。
从功能结构划分，数据仓库系统至少应该包含数据获取（Data Acquisition）、数据存储（Data Storage）、数据访问（Data Access）三个关键部分。
一、数据仓库组成：
数据
转载
2023-09-25 20:47:53
205阅读
在数据仓库建设中，概念数据模型设计与逻辑数据模型设计、物理数据模型设计是数据库及数据仓库模型设计的三个主要步骤。conceptual data model概念数据模型是最终用户对数据存储的看法，反映了最终用户综合性的信息需求，它以数据类的方式描述企业级的数据需求，数据类代表了在业务环境中自然聚集成的几个主要类别数据。概念数据模型的内容包括重要的实体及实体之间的关系。在概念数据模型中不包括实体的属性
转载
2023-06-30 22:31:32
249阅读
第一部分 数据仓库理论第1节 数据仓库1.1 什么是数据仓库1988年，为解决全企业集成问题，IBM公司第一次提出了信息仓库（InformationWarehouse）的概念。数据仓库的基本原理、技术架构以及分析系统的主要原则都 已确定，数据仓库初具雏形。1991年Bill Inmon（比尔·恩门）出版了他的第一本关于数据仓库的书《Building theData Warehouse》，标志着数据
转载
2024-02-20 11:14:27
82阅读
目录DIM层设计要点：8.1 商品维度表1）建表语句2）数据装载8.2 优惠券维度表1）建表语句2）数据装载8.3 活动维度表2）数据装载8.4 地区维度表1）建表语句2）数据装载8.5 日期维度表1）建表语句2）数据装载8.6 用户维度表（拉链表）1）建表语句2）分区规划3）数据装载8.7 数据装载脚本8.7.1 首日装载脚本8.7.2 每日装载脚本DIM层设计要点：（1）DIM层的设计依据是维
转载
2023-08-26 15:54:24
149阅读
大数据时代，大数据存储的解决方案，往往涉及到数据仓库的选型策略。从传统时期的数据仓库，到大数据环境下的数据仓库，其核心的技术架构是在随着最新技术趋势而变化的。今天的大数据入门分享，我们就来讲讲，大数据环境下的数据仓库。数据仓库的概念，最早是在1991年被提出，而直到最近几年的大数据趋势下，实时数据处理快速发展，使得数据仓库技术架构不断向前，出现了实时数仓，而实时数仓又分为批数据+流数据、批流一体两
转载
2023-11-17 17:00:19
67阅读
建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用;信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库。开发数据仓库的过程包括以下几个步骤：1.系统分析，确定主题建立数据仓库的第一个步骤就是通过与业务
转载
2023-08-10 13:17:12
141阅读
一、数仓分层1.1 数仓分层ODS(Operation Data Store)：原始数据层，关系建模，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理DWD(Data Warehouse Detail)：明细数据层，维度建模，对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、维度退化、脱敏等DWS(Data Warehouse Service)：服务数据层，以DWD为基础，
转载
2024-01-11 13:22:19
207阅读
随着大数据的到来，经常听到相关的词汇，维度、指标、BI、PV、UV等等，今天整理了这些词汇。1. DW DW是Data Warehouse的缩写，即数据仓库。DW要区别于普通数据库，数据仓库用于支持决策，面向分析型数据处理；而普通数据库主要服务于软件/网站，对于一致性/事物要求较高。 数据仓库是一个支持管理决策的数据集合。数据是面向主题的、集成的、不易丢失的并且是时间变量。数据仓库是所有操作环境和
转载
2024-01-13 15:05:28
184阅读
1.虽然各个公司的数据仓库各层名称各不相同，但是总体上大同小异，都包括ODS(Operation Data Store)原始数据层，公共数据层CDM（Common Data Model），又称公共数据模型，和应用数据层APP（或者叫ADS） 。ODS层：原始数据层，主要是将源系统数据抽取到数仓环境，不作任何处理，同时要存历史数据CDM层：公共模型层，CDM层是数据仓库的核心，也是数据仓库设计是否合
转载
2020-08-13 17:33:00
22阅读
数据仓库数据仓库的概念数据仓库的主要特征数据仓库的分层数据仓库的分层介绍原始数据层：ODS（Operational Data Store）数据仓库层：DW（Data Warehouse）数据明细层：DWD（Data Warehouse Details）数据中间层：DWM（Data Warehouse Middle）数据汇总层：DWS（Data Warehouse Service）数据应用层：AD
转载
2023-11-15 20:09:18
95阅读
数据仓库搭建之DIM层搭建在开发数据仓库的DIM层时，我们需要注意以下几点：1）DIM层的设计依据是维度建模理论，该层存储维度模型的维度表。2）在我们该项目当中，DIM层的数据存储格式为orc列式存储+snappy压缩。3）DIM层表名的命名规范为dim_表名_全量表或者拉链表标识（full/zip）。1.维度确定我们根据之前构建的业务总线矩阵，来确定我们当前需要构建的维度表。 我们可以看到，我们
转载
2023-07-18 13:44:14
273阅读
第一章 数据仓库Data Warehouse1.1 数据仓库概念1. 数据仓库（Data Warehouse）:是为企业所有决策制定过程，提供所有系统数据支持的战略集合。为企业决策提供数据支撑
2. 通过对数据仓库中数据的分析，可以帮助企业改进业务流程，控制成本，提高产品质量等。
3. 数据仓库不是数据的最终目的地，而是为数据最终目的地做好准备：对数据进行 清晰->转义 ->分类
转载
2023-08-26 11:20:43
38阅读
