由于工作需要，最近在弄数据库相关的项目，对于很多地方不甚了解，特别是一些概念性的东西，知其然而不知其所以然，这里列出一些基本知识，做个印记，也和读者共享。数据仓库：Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。
对
转载
2024-06-19 18:00:27
11阅读
在现代银行业务中，数据分析和处理是确保业务顺利进行的关键信息流。最近，我参与了一个关于“银行实习数据仓库”的项目，这让我深入了解了数据仓库的构建与维护。在这个过程中，我们遇到了一些棘手的问题。以下是我对整个问题的整理与分析。
### 问题背景
在进行银行实习数据仓库的开发过程中，我们需要处理庞大的数据量。然而，随着数据的增加，系统表现出了一些异常现象。这些现象的出现严重影响了数据的处理效率和可
背景数据治理工作的情况基本描述的差不多了，实际工作中也进行的差不多了，因此，在数据质量问题基本探查清楚，数据标准制定以后，就可以开始下一步的工作了。现有DW的情况，除了保存了历史数据以外，基本与ODS或者说业务系统的结构没有太大区别。而业务系统都是面向实时交易进行数据库设计的，这种设计显然不能满足数据仓库的查询、分析特性，因此，还是采用行业比较认可也相对成熟的维度建模思想作为设计主导
文章目录一，自我介绍二，问答阶段三，代码阶段四，反问五，总结 背景：今年金三银四，看着大家都在疯狂找实习offer，不甘落后的我也信心满满（毫无把握）的去字节面试（现在想想真是胆大，都还没学扎实） 一，自我介绍二，问答阶段shuffle阶段详细介绍 回答环形缓冲区，分区排序，溢写磁盘，reduce再抽取归并等等计算单元和实际block存储单元不在一个机器节点上，这样会带来大量的IO操作，Hado
转载
2023-12-09 13:35:27
1127阅读
记录字节跳动数据挖掘第三场笔试题题型：单选7道，不定项3道，编程3道（单选涉及Linux, SQL）1. 怎么解决数据倾斜 ① 增加reduce的个数，② 重新设计key，有一种方案是在map阶段时给key加上一个随机数，有了随机数的key就不会被大量的分配到同一节点，待到reduce后再把随机数去掉即可。③ 使用combinner合并，combinner是在map阶段，reduce之前的一个中间
转载
2023-12-06 21:36:09
46阅读
讲数据仓库涉及到的基本概念。
转载
2021-07-26 11:19:43
1097阅读
在数据仓库建设中，概念数据模型设计与逻辑数据模型设计、物理数据模型设计是数据库及数据仓库模型设计的三个主要步骤。conceptual data model概念数据模型是最终用户对数据存储的看法，反映了最终用户综合性的信息需求，它以数据类的方式描述企业级的数据需求，数据类代表了在业务环境中自然聚集成的几个主要类别数据。概念数据模型的内容包括重要的实体及实体之间的关系。在概念数据模型中不包括实体的属性
转载
2023-06-30 22:31:32
249阅读
建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用;信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库。开发数据仓库的过程包括以下几个步骤：1.系统分析，确定主题建立数据仓库的第一个步骤就是通过与业务
转载
2023-08-10 13:17:12
141阅读
大数据时代，大数据存储的解决方案，往往涉及到数据仓库的选型策略。从传统时期的数据仓库，到大数据环境下的数据仓库，其核心的技术架构是在随着最新技术趋势而变化的。今天的大数据入门分享，我们就来讲讲，大数据环境下的数据仓库。数据仓库的概念，最早是在1991年被提出，而直到最近几年的大数据趋势下，实时数据处理快速发展，使得数据仓库技术架构不断向前，出现了实时数仓，而实时数仓又分为批数据+流数据、批流一体两
转载
2023-11-17 17:00:19
67阅读
第一部分 数据仓库理论第1节 数据仓库1.1 什么是数据仓库1988年，为解决全企业集成问题，IBM公司第一次提出了信息仓库（InformationWarehouse）的概念。数据仓库的基本原理、技术架构以及分析系统的主要原则都 已确定，数据仓库初具雏形。1991年Bill Inmon（比尔·恩门）出版了他的第一本关于数据仓库的书《Building theData Warehouse》，标志着数据
转载
2024-02-20 11:14:27
82阅读
数据仓库一、数据仓库概述首先，我们先来看下数据库、数据集市、数据仓库以及数据湖的概念。1、什么是数据库？数据库（Database）是按照一定格式和数据结构在计算机保存数据的软件，属于物理层。最早期是广义上的数据库，这个阶段的数据库结构主要以层次或网状的为主，这是数据库的数据和程序间具备非常强的依赖性，应用有一定局限性。我们现在所说的数据库一般指的是关系型数据库。关系数据库是指采用了关系模型来组织数
转载
2024-01-16 01:24:26
150阅读
1. 数据仓库概念数据仓库，Data Warehouse，简写为DW或DWH。定义：面向主题的，集成的，相对稳定的，反映历史变化的数据集合，用于支持管理决策。面向主题：在较高层次上将企业信息系统的数据综合归并进行分析利用的抽象的概念。每个主题基本上对应一个相应的分析领域集成的：企业级数据，同时数据要保持一致性、完整性、有效性、精确性稳定的：从某个时间段来看是保持不变的，没有更新操作、删除
转载
2023-09-05 17:29:27
201阅读
第一章 数据仓库Data Warehouse1.1 数据仓库概念1. 数据仓库（Data Warehouse）:是为企业所有决策制定过程，提供所有系统数据支持的战略集合。为企业决策提供数据支撑
2. 通过对数据仓库中数据的分析，可以帮助企业改进业务流程，控制成本，提高产品质量等。
3. 数据仓库不是数据的最终目的地，而是为数据最终目的地做好准备：对数据进行 清晰->转义 ->分类
转载
2023-08-26 11:20:43
38阅读
目录DIM层设计要点：8.1 商品维度表1）建表语句2）数据装载8.2 优惠券维度表1）建表语句2）数据装载8.3 活动维度表2）数据装载8.4 地区维度表1）建表语句2）数据装载8.5 日期维度表1）建表语句2）数据装载8.6 用户维度表（拉链表）1）建表语句2）分区规划3）数据装载8.7 数据装载脚本8.7.1 首日装载脚本8.7.2 每日装载脚本DIM层设计要点：（1）DIM层的设计依据是维
转载
2023-08-26 15:54:24
149阅读
一、数仓分层1.1 数仓分层ODS(Operation Data Store)：原始数据层，关系建模，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理DWD(Data Warehouse Detail)：明细数据层，维度建模，对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、维度退化、脱敏等DWS(Data Warehouse Service)：服务数据层，以DWD为基础，
转载
2024-01-11 13:22:19
207阅读
数据仓库数据仓库的概念数据仓库的主要特征数据仓库的分层数据仓库的分层介绍原始数据层：ODS（Operational Data Store）数据仓库层：DW（Data Warehouse）数据明细层：DWD（Data Warehouse Details）数据中间层：DWM（Data Warehouse Middle）数据汇总层：DWS（Data Warehouse Service）数据应用层：AD
转载
2023-11-15 20:09:18
95阅读
随着大数据的到来，经常听到相关的词汇，维度、指标、BI、PV、UV等等，今天整理了这些词汇。1. DW DW是Data Warehouse的缩写，即数据仓库。DW要区别于普通数据库，数据仓库用于支持决策，面向分析型数据处理；而普通数据库主要服务于软件/网站，对于一致性/事物要求较高。 数据仓库是一个支持管理决策的数据集合。数据是面向主题的、集成的、不易丢失的并且是时间变量。数据仓库是所有操作环境和
转载
2024-01-13 15:05:28
182阅读
1.虽然各个公司的数据仓库各层名称各不相同，但是总体上大同小异，都包括ODS(Operation Data Store)原始数据层，公共数据层CDM（Common Data Model），又称公共数据模型，和应用数据层APP（或者叫ADS） 。ODS层：原始数据层，主要是将源系统数据抽取到数仓环境，不作任何处理，同时要存历史数据CDM层：公共模型层，CDM层是数据仓库的核心，也是数据仓库设计是否合
转载
2020-08-13 17:33:00
22阅读
前面的文章中讲到了OLTP、OLAP的概念，简单回顾下一个是代表像业务系统，主要处理业务流程的。一个是代表BI的分析型系统，主要是处理分析的，典型的代表就是数据仓库。OLTP就是Online Transaction Processing System，在线事务处理系统;OLAP则是Online Analytical Processing System，在线分析处理系统。但是严格意义上来讲，OLAP
转载
2023-09-05 16:25:47
158阅读
数据仓库系统是一个信息提供平台，他从业务处理系统获得数据，主要以星型模型和雪花模型进行数据组织，并为用户提供各种手段从数据中获取信息和知识。
从功能结构划分，数据仓库系统至少应该包含数据获取（Data Acquisition）、数据存储（Data Storage）、数据访问（Data Access）三个关键部分。
一、数据仓库组成：
数据
转载
2023-09-25 20:47:53
205阅读
