这是IT pub上一篇帖子引发出的问题,以前还真没去仔细思考这个问题:为什么要建立数据仓库,数据仓库和数据库的区别?因为理论上的优点说法都很多,但要真正很好地理解,能简洁地向客户阐述明白,让客户觉得建立数据仓库是一件值得做的事情,还是值得讨论一下这个问题。有如下一些朋友们说法(自己在批注处            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-20 10:16:32
                            
                                0阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            # 数据仓库主题库是在一个数据库吗?
数据仓库是现代数据分析的核心组成部分,它主要用于存储和管理大量的结构化和非结构化数据。很多人会问,数据仓库的主题库是否就是一个数据库?答案是,数据仓库的主题库可以被视作一个数据库,但它具有特定的特征和结构。本文将深入探讨这一主题,并提供代码示例和图形表示。
## 什么是数据仓库?
数据仓库(Data Warehouse, DW)是一个中央存储库,可以整合            
                
         
            
            
            
            本次讨论的主题是: 数据仓库中的主题域是如何划分的?问题:你在工作中和交流中,有主题域划分的例子可以分享吗?分析:本话题是一个发散性的话题,并没有限制太多的内容,主要是想跟大家讨论一下在工作和交流中大家都是怎么划分主题域的。对于这个话题,我觉得群友们的讨论已经很极致了,所以下面的文章中我就根据大家讨论的情况对这个话题进行一个整理与补充一点个人的理解(站在巨人们的肩上看问题~)关于主题:数据仓库中的            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-11-02 19:48:39
                            
                                52阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            按照官方解释:数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。(写得挺牛逼以至于我根本理解不了)一、提出问题  为了更好地理解,在这里先提几个问题。  1、如果你要的数据分            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-10-18 15:27:07
                            
                                70阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            在大数据领域,Hadoop技术框架的重要性是已经得到大家认可的,而基于Hadoop框架系统之下的各个组件,也不断在更新完善。关于Hadoop数据库的问题,也是很多同学学习当中的难点,今天我们就主要来聊聊Hadoop框架下的数据库,也就是Hbase的相关内容。 Hbase,其实就是Hadoop DataBase,作为Hadoop的数据库,因为Hadoop的分布式框架,所以也被称为是分布式数据库,数据            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-12 14:59:48
                            
                                308阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            有朋友私信我,说希望了解数仓的整体建设中的细节及模板。那有啥说的,上干货!数仓全景图镇楼 00建设过程数仓建模的过程分为业务建模、领域建模、逻辑建模和物理建模,但是这  些步骤比较抽象。为了便于落地,我根据自己的经验,总结出上面的七个步骤:梳理业务流程、垂直切分、指标体系梳理、实体关系调研、维度梳理、数仓分层以及物理模型建立。每个步骤不说理论,直接放工具、模板和案例。01业务流程1找到公司核心业务            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-03-18 21:43:58
                            
                                421阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            请把75%的时间花在设计阶段,否则嘿嘿嘿...            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-07-21 16:45:17
                            
                                741阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、是什么官方解释:面向主题的、集成的、相对稳定、反应历史变化,用于企业的管理决策分析。开发者角度:通过接入各种数据源,打破数据壁垒,根据业务方的需求,设计方便使用和准确的数据模型,高效将结果输出给业务方。业务方角度:能快速准确提供数据,给公司的日常运营和领导决策提供数据支持和指导。二、如何建立1、分析业务需求、确认仓库主题例:领导想看各部门GMV、毛利情况。运营团队要了解各个渠道的订单转化率,商            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-12 12:14:28
                            
                                62阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、数据仓库      关于数据仓库概念的标准定义业内认可度比较高的,是由数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出:      中文定义:数据仓库是一个面向主题的、集成的、相对稳定的、反            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-28 14:16:30
                            
                                105阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。  
  企业的数据处理大致分为两类:一            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-23 23:24:48
                            
                                32阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
                   数据分类        传统企业中使用的数据可以分为两类:操作数据和分析数据。这两种数据都可以存储在DBMS中进行管理。他们的组织形式实际上源于并作用于两种系统:操作型系统和分析型系统。    传统企业的生产环境,也由以数据库为中心的环境发展为以数据仓库为中心的环境。               
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2018-01-19 17:17:00
                            
                                136阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一、数据仓库数据仓库(Data Warehouse)是一个面向主题的、集成的、稳定的且随时间变化的数据集合,用于 支持管理人员的决策面向主题 主题就是类型的意思。 传统数据库主要是为应用程序进行数据处理,未必会按照同一主题存储数据; 数据仓库侧重于数据分析工作,是按照主题存储的。集成 传统数据库通常与某些特定的应用相关,数据库之间相互独立。而数据仓库中的数据是在对原有分散 的数据库数据抽取、清理的            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-02 18:42:40
                            
                                223阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            文章介绍顺序数据仓库是什么数据仓库的特点ETLODS数据模型数据分层 一、数据仓库数据仓库可以说是:面向分析的存储系统也就是说数据仓库是存数据的,企业的各种数据往里面塞,主要目的是为了有效分析数据,后续会基于它产出供分析挖掘的数据,或者提供应用于专门业务的数据,如企业的分析性报告和各类报表,为企业的决策提供支持。先直观了解下常用的数据架构二、数据仓库的特点面向主题的:业务数据库中的数据都            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-10-13 20:36:45
                            
                                82阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            数据库和数据仓库联系和区别1、前言2、来源3、用途4、特性不同4.1 设计4.2 优化4.3 数据量 1、前言不能简单的说数据仓库是数据库的扩大版,它们是针对不同的服务而产生的,传统的 数据库 针对(OLTP)联机事务处理,主要应用与业务处理。而 数据仓库 针对(OLAP)联机分析处理,主要为决策服务。数据仓库的本质还是一个数据库,它将各个异构的数据源数据库的数据给统一管理起来,并且完成了质量较            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-11-25 13:08:46
                            
                                70阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            OLTP。这是on-line transaction processing的简写。翻译成联机事务处理。就是在线交易的业务数据。这方面的数据库是关系型数据库。  
     2、OLAP。On-Line Analytical Processing翻译成联机分析处理。通俗理解,就是做数据统计、分析的平台。顺应这个需求产生了数据仓库的概念。  
     
    3、数据仓库。只是一个概念,数据            
                
         
            
            
            
            一、数据仓库和数据库的区别 简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的。数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计。数据库是为捕获数据而设计,数据仓库是为分析数据而设计,它的两个基本的元素是维表和事实表。维是看问题的角度,比如时间,部门,维表放的就是这些东西的            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-28 12:09:50
                            
                                33阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一个数据仓库总线矩阵表示的设计目标是高效组织和管理多个数据源,以实现在分析、报告和决策支持中的最佳利益。通过数据仓库总线矩阵模型,可以将不同的数据集成到一个统一的数据库架构中,确保数据的一致性和可用性。
### 环境准备
在实施数据仓库总线矩阵之前,需要设置相应的开发环境以及必要的工具依赖。以下是所需依赖的安装指南。
| 依赖项               | 版本      | 兼容性            
                
         
            
            
            
             在处理一个数据仓库项目时需要注意的问题很多,但同时也有很多有建设性的参考可以帮助你更顺利的完成任务。开放思维,不断尝试新的途径,对于找到一种可行的数据仓库实现方法来说也是必需的。 
1. 配备一个全职的项目经理或你自己全面负责项目管理 
在通常情况下,项目经理都会同时负责多个项目的实施。这么做完全是出于资金和IT资源方面的考虑。但是对于数据仓库            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-13 22:06:31
                            
                                49阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            数据中台的数据仓库和商业智能BI的数据仓库本质上没有任何区别,都是在底层业务系统数据源和上层应用之间做了一个隔离层,进行上下两层的解耦合。从数据分析应用角度来讲,不管是大数据还是小数据,都是把业务系统中不规范、不规则的、不可分析的数据变成规范、规则、可分析的数据过程,都是把描述业务过程的数据模型变成描述业务分析数据模型的转换过程。不管你是做大数据、数据中台还是商业智能BI,只要实现数据仓库,本质过            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-01-02 22:11:03
                            
                                89阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            首先,定义三个概念:数据库软件、数据库、数据仓库。数据库软件:是一种软件,可以看得见,可以操作。用来实现数据库逻辑功能。属于物理层。数据库:是一种逻辑概念,用来存放数据的仓库。通过数据库软件来实现。数据库由很多表组成,表是二维的,一张表里可以有很多字段。字段一字排开,对应的数据就一行一行写入表中。数据库的美,在于能够用二维表现多维关系。目前市面上流行的数据库都是二维数据库。如:Oracle、DB2            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-26 21:44:58
                            
                                101阅读