概述
本文作为我这些年实施数据仓库的总结，如有错误，请各位同仁指正。 文档条理不是很清楚，而且也有很多口水话，我不想搞成一个真正的官方文档，所以很随意，符合我的性格。很多问题我只是提出来了，解决方案没有想好，也不知道怎么落到文字，就先提出来备注吧。 文档原本想讨论的元数据管理、数据质量和监控工具的内容，由于时间关系，没有添加，以后有空补上吧。
1.1.阅读方法
转载
2023-12-22 20:49:38
47阅读
1、知识点1.1 RDBMSRelational DataBase Magement System 关系型数据库管理系统 相关技术栈：SQL、SQL databases（MySQL、Postgres、Oracle等），Data Modeling（FB DE）1.2 SQL结构化查询语言1.3 Batch ETLExtract，Transform，Load 从数据仓库中提取数据，使用slicing和
转载
2023-11-20 08:09:26
50阅读
数据etl常用工具kettle。 1、说明：kettle-数据源配置化：是指kettle的数据源连接信息全部或者部分从配置文件中读取（如果是数据库的资源库，那么资源库也可以配置化）。 2、优点： 1、这样程序本身就和kettle的业务解绑了，开发、生产采用不同配置；每次开发完成就可以直接导入线上，再也不用手动去修改连接信息（少
转载
2024-07-22 16:02:31
50阅读
Hive基础小结数据仓库概念、特点：数据仓库是一个面向主体的、集成的、不可更新的、随时间不断变化的数据集合，
它用于企业或组织的决策分析处理。数据仓库结构和建立过程：数据源（业务数据系统、文档资料、其他数据）--> 抽取（Extract）、转换（Transform）、装载（Load）--> 数据仓库引擎（服务器）--> 前端展示（查询、报表、分析、各类应用）Hive概念：建立在H
1.背景介绍1. 背景介绍HBase 和 Hive 是 Apache Hadoop 生态系统中两个重要的组件。HBase 是一个分布式、可扩展、高性能的列式存储系统，主要用于存储大量结构化数据。Hive 是一个基于 Hadoop 的数据仓库解决方案，主要用于处理和分析大规模数据。HBase 和 Hive 之间的关系是相互补充的。HBase 提供了低延迟的随机读写访问，而 Hive 提供了高效的数据
转载
2024-09-23 09:30:21
327阅读
数据仓库_总结
一，数据类型数据储存库将包括关系数据库、数据仓库、事务数据库、高级数据库系统、一般文件、数据流和万维网。高级数据库系统包括对象-关系数据库和面向特殊应用的数据库，如空间数据库、时间序列数据库、文本数据库和多媒体数据库。
1.1关系数据库
关系数据库是表的汇集，每个表都赋予唯一的名字。每个表包含一组属性（列或字段)，通常存放大量元组（记录或行)。关
转载
2023-12-13 09:27:57
75阅读
数据库：主要存放实时产生的数据，和业务应用相关，OLTF(面向事务处理)数据库是为捕获数据而设计数据仓库：依照分析需求、分析维度和设计指标来进行设计。数据仓库存放的是历史数据，OLAP(面向分析处理)数据仓库为分析数据而设计数据库设计应该遵守三大范式，符合业务应用即可，但是不符合分析，数据仓库不需要遵守三大范式Hive结构化的数据文件映射成一 张数据库表,并提供类SQL查询功能。 其实H
转载
2023-12-18 21:51:37
49阅读
超全面试总结——数据仓库如何理解数仓为什么要数据仓库建模为什么要设计数据分层通用的数据分层设计分层的原则是什么？数据集市和数据仓库的区别数据库和数据仓库有什么区别？维度建模三种模式 星形、雪花、星座事实表事实表设计方法维度表什么是缓慢变化的维度维度表设计方法如何维度建模最常见的三种数据仓库建模体系什么是ETL？常用的ETL工具联机分析处理 OLAPOLAP和OLTP的区别元数据（Metadata
转载
2023-08-08 13:04:54
184阅读
参考资料为： 教材代码-林子雨编著《大数据基础编程、实验和案例教程（第2版）》教材所有章节代码_厦大数据库实验室博客1.实验学时4学时2.实验目的熟悉Hive的安装熟悉Hive的基本用法3.实验内容（一）完成Hive的安装和配置Mysql接口。先进行hive安装包的安装。然后修改文件名和文件权限；之后加入环境变量的路径：加入：然后输入命令使得配置立即生效。之后进入对应文件夹修改文件名：然
转载
2023-12-28 14:36:41
41阅读
关联文章： 数据仓库应用（二）：数据抽取、转换、加载（ETL） 数据仓库应用（三）: SQL Server 2005的数据仓库应用–联机分析OLAP一、问题背景某电子商务网站主要销售电子类产品，产品又分为几个大类别，包括：电脑类、手机类、键盘类等，每个类别内又细分为几个小类别，各类别下又有诸多的商品，每一个商品都有一个唯一的商品编号。用户可以通过注册成为会员来进行商品的下单购买。用户下单后会由系统
转载
2024-06-21 18:50:23
61阅读
要想做多维数据集的分析处理，那么多维分析模型的搭建是必要的。下面我们便尝试通过实例来浅谈一下关于简道云的数据分析模型设计。在聊分析模型时先聊聊数据处理仓库及建模技术。1.关于数据仓库数据仓库（Data Warehouse，DW）是企业为处理分析收集到的所有数据而生的一种技术，需要解决的问题是如何处理数据、如何分析数据，区别于数据库技术的为业务操作而生。数据仓库具有以下5大特点：(1)面向主题数据仓
转载
2024-06-03 10:23:38
30阅读
# Hive 数据仓库实验指导
在大数据领域，Apache Hive 是一个非常流行的数据仓库工具，它允许用户通过 SQL 语言来处理分布式存储的海量数据。本文将引导你逐步实现一个基本的 Hive 数据仓库实验。我们将首先介绍整个过程的步骤，并用表格展示这些步骤，接着逐步详细讲解每一步所需的代码及其注释，最后给出类图和状态图帮助你更好地理解 Hive 的结构和状态。
## 流程步骤
下面是实
在构建数据仓库实验平台的过程中，我经历了多个阶段的挑战与应对，以满足用户的需求和业务的增长。数据仓库实验平台应能高效地集成和管理来自不同来源的数据，并便于分析和决策。本篇博文将详细记录我在此项目中的思考与实践，包含从背景定位到扩展应用的全过程。
### 背景定位
在启动项目之前，我面临着诸多技术痛点，其中主要包括：
1. 不同数据源的兼容性问题，导致数据整合困难。
2. 数据处理效率低下，无
一、数据采集项目总结1.数据仓库数据仓库是保存数据，为企业提供数据支持2.数据的分类业务数据： 记录的是订单的信息！ 行为数据： 记录的是下单的过程发生的信息！2.1用户业务数据是什么：用户使用平台（电商）时产生的和电商的业务紧密相关(购买，下单，支付，收藏，搜索 )的数据！产生：用户在使用APP时，产生！如何存：关系型数据库为什么：事务是区分场景可以使用RDMS和NoSql的核心要素！ RDMS
转载
2024-06-13 18:58:18
44阅读
一、数据仓库构建思想构造数据仓库有两种方式：一是自上而下，一是自下而上。Bill Inmon先生推崇“自上而下”的方式，即一个企业建立唯一的数据中心，就像一个数据的仓库，其中数据是经过整合、经过清洗、去掉脏数据的、标准的，能够提供统一的视图。要建立这样的数据仓库，并不从它需要支持哪些应用入手，而是要从整个企业的环境入手，分析其中的概念，应该有什么样的数据，达成概念完成整；（会考虑到很全面的设计）R
转载
2023-12-13 08:35:47
65阅读
《数据库实验心得体会》由会员分享，可在线阅读，更多相关《数据库实验心得体会(1页珍藏版)》请在人人文库网上搜索。1、数据库实验心得体会有关于数据库实验的心得体会，总的来说，受益匪浅。在这些天中，我们学到了很多东西，包括建表，导入数据，查询，插入。最重要的是我们有机会用电脑自己进行实践，没接触的时候总是觉得它比较深奥或是不可接近的新型语言，尽管自己对C语言非常感兴趣，但还是有些心理上的陌生感。学习数
转载
2024-01-14 21:45:39
64阅读
1.背景 归纳整理数据仓库的基础知识，了解数据仓库的全貌和可深入学习的部分，本章节会首先梳理数仓基础知识，末尾链接会梳理离线/实时数仓部分技术能力（持续更新，如果我坚持下去了的话，哈哈哈）。其中部分话术来源于网络，会在统一位置进行标注引用，感谢大家在网络上的分享！2.数据仓库知识整理2.1 文章引用 https://ww
转载
2024-01-13 21:04:51
32阅读
一、数据仓库架构 三、星型模型设计
原创
2022-05-04 20:45:59
328阅读
数据仓库面试知识总结
原创
精选
2022-05-16 09:21:41
5900阅读
点赞
大数据实战项目之电商数仓（一）项目介绍数据仓库概念 数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程，控制成本，提高产品质量等。数据仓库，并不是数据的最终目的地，而是为数据最终目的地做好准备。这些准备包括对数据的清洗，转义，分类，重组，合并，拆分，统计等。项目需求分析一、项目需求1、数据采集平台搭建2、实现用户行为数据仓库的分层
转载
2024-01-16 11:26:04
64阅读
