在谈数仓之前，先来看下面几个问题：数仓为什么要分层？用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大。通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理
转载
2024-04-29 08:58:48
0阅读
文章目录一、数仓分层数仓概念ODS（原始数据层）做了哪些事DWD（明细数据层）做了哪些事DWS（服务数据层）做了哪些事DWT（主题数据层）做了哪些事ADS（应用数据层）做了哪些事二、数仓建模常用的建模工具ODS 层DWD 层DWS 层DWT 层ADS 层 一、数仓分层数仓概念什么是数仓：数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进
转载
2024-05-09 18:40:42
141阅读
最近我们公司在建立数仓，想要建立一套以Greenplum为核心的混合架构数据仓库。在这里，只想谈谈我对数据仓库的一些看法。什么是数据仓库面向主题的，集成的，相对稳定的，反映历史变化的数据集合，用于支持管理决策。 为什么需要数仓首先，我们公司是做高校大数据的。高校的数据源形式多样，oracle、sqlserver、mysql，excel、dbf等等，异构性强。以前我们的做法是将
转载
2024-09-18 19:42:32
88阅读
1、hive环境搭建1.1、hive引擎简介Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。1.2、hi
转载
2024-04-10 13:14:52
42阅读
数据仓库架构分层1. 数据仓库架构数据仓库标准上可以分为四层：ODS（临时存储层）、PDW（数据仓库层）、DM（数据集市层）、APP（应用层）。1）ODS层：为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。一般来说ODS层的数据和源系统的数据是同构的，主要目的是简化后续数据加工处理的工作。从数据粒度上来说ODS层的数据粒度是最细的。ODS层的表通常包括两类，一个用于存储当前需要加
转载
2024-06-11 01:32:09
92阅读
实时数据仓库的发展、架构和趋势 这篇文章从实时数仓开始讲到批流一体，谈了谈对大数据架构体系发展趋势的看法。文章最后讲到了基于数据湖Iceberg实现的存储层统一方案，以及要实现此方案Iceberg需要满足的一些技术上的要求，引出本专题的主角Iceberg。为什么要写这样一个专题？一方面是因为目前自己主要负责这块的工作，算是一个工作的总结和整理；另一方面也是希望能够让更多大数据相关的业务同学了解Ic
转载
2024-03-27 07:54:12
87阅读
# Clickhouse与Hive数仓的比较与应用
## 引言
数据仓库（Data Warehouse）是企业存储、分析和管理大数据的重要工具。随着大数据技术的发展，越来越多的技术栈被提出并应用于数据处理当中，其中，Clickhouse与Hive是两个比较流行的选择。本文将探讨Clickhouse和Hive的特点，应用场景，以及一些代码示例，帮助你更好地理解这两种工具在数据仓库中的应用。
#
原创
2024-10-28 04:44:30
131阅读
1. 什么是ETL，ETL都是怎么实现的？ ETL中文全称为：抽取.转换.加载 extract transform load ETL是传数仓开发中的一个重要环节。它指的是，ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL
转载
2023-12-22 23:10:35
151阅读
摘要ES最多使用的场景是搜索和日志分析，然而ES强大的实时索引查询、全文检索和聚合能力也能成为数据仓库与OLAP场景的强力支持。本次分享将为大家带来数说故事如何借助ES和Hadoop生态在不同的数据场景下构建起数据仓库能力。 背景 数说故事主要业务为数据商业智能分析，涉及业务包括数字营销、数据分析
转载
2024-08-26 20:16:25
46阅读
四：数仓搭建-ODS层首先，先了解一下ODS层的任务即其功能：1）保持数据原貌不做任何修改，起到备份数据的作用。2）数据采用LZO压缩，减少磁盘存储空间。100G数据可以压缩到10G以内。3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。4）创建外部表。在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景都是创建外部表。4.1 ODS层（用户行为数据）4.1.1&n
转载
2024-03-12 06:45:25
107阅读
在现代大数据处理中，数仓（数据仓库）和Hadoop成为了不可或缺的元素。数仓用于有结构化的数据分析，而Hadoop则以其分布式计算能力处理大规模数据集。本篇文章将从环境配置、编译过程、参数调优、定制开发、部署方案、进阶指南六个方面详细记录如何解决数仓与Hadoop的集成问题。
## 环境配置
为确保数仓与Hadoop的高效运行，首先需要搭建合适的环境。以下是我的配置步骤：
1. 确保服务器具
数据仓库与数据集市 看了很多数据仓库方面的资料，都涉及到了“数据集市”这一说法，刚开始对数据仓库和数据集市的区别也理解得比较肤浅，现在做个深入的归纳和总结，主要从如下几个方面进行阐述： （1） 基本概念 （2） 为什么提出数据集市 （3） 数据仓库设计方法论 （4） 数据集市和数据仓库的区别 （5） 仓库建模与集市建模 （6） 案例分析：
3.5 Hadoop与数据仓库 传统数据仓库一般建立在Oracle、MySQL这样的关系数据库系统之上。关系数据库主要的问题是不好扩展，或者说扩展的成本非常高，因此面对当前4Vs的大数据问题时显得能力不足，而这时就显示出Hadoop的威力。Hadoop生态圈最大的吸引力是它有能力处理非常大的数据量。在大多数情况下，Hadoop生态圈的工具能够比关系数据库处理更多的数据，因为数据和计算都是分布式的。
转载
2024-04-16 11:24:56
50阅读
中台系统把业务层同性的算法能力，服务能力，业务能力高度集成，有效组织 ，动态规划。更好的帮助上层业务。 今天就让我们看看关于数据中台的问答吧。 1 Q : 什么是数据中台？A : 数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性
转载
2024-01-27 12:21:07
36阅读
# 在线数仓与离线数仓架构图实现指南
在数据驱动的架构中，数仓的设计分为在线和离线两种类型。在线数仓（OLAP）用于实时数据查询，而离线数仓（ETL）用于批处理和分析。本文将引导你逐步实现一个在线数仓和离线数仓的架构图。
## 整体流程
下面是实现在线数仓和离线数仓架构图的整体流程：
| 步骤 | 描述 |
|------|-----
目录0. 相关文章链接1. ODS层2. DIM层和DWD层2.1. 选择业务过程2.2. 声明粒度2.3. 确定维度2.4. 确定事实3. DWS层与DWT层4. ADS层5. 总结1. ODS层在ods层注意如下3点即可：保持数据原貌不做任何修改，起到备份数据的作用。数据采用压缩，减少磁盘存储空间（例如：原始数据100G，可
转载
2024-02-03 07:13:17
53阅读
1. 什么是数据湖1.1 什么是数据湖数据湖是一个集中式的存储库，允许以任意模式存储多个来源，所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析，对数据进行加工，例如：大数据处理，实时分析，机器学习，以指导做出更好的决策。1.2 大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据进行更新是非常麻烦的，
转载
2024-08-12 20:24:23
72阅读
[Hadoop]数仓工具Hive的安装部署?作者：喜欢水星记?系列：Hadoop高可用集群?收藏：本文记录我搭建过程供大家学习和自己之后复习，如果对您有用，希望能点赞收藏加关注Hive的简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。最初，Hive是由Facebook开发，
转载
2024-04-11 12:34:32
62阅读
大纲 一、数仓基本概念 1、数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。这里参考此定义，把数据仓库架构
转载
2023-11-01 21:25:24
454阅读
目 录项目实战——将Hive表的数据直接导入ElasticSearch 此篇文章不用写代码，简单粗暴，但是相对没有那么灵活；底层采用MapReduce计算框架，导入速度相对较慢！项目实战——Spark将Hive表的数据写入ElasticSearch（Java版本） 此篇文章需要Java代码，实现功能和篇幅类似，直接Java一站式解决Hive内用Spark取数，新建ES索引，灌入数据，并且采
转载
2024-09-19 09:54:12
53阅读
