声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章 &nbs
转载
2023-12-28 22:11:31
95阅读
小节一：数仓介绍小节二：离线数仓应用应用架构本小结介绍下离线数仓的一个应用架构一个简单的离线数仓架构图如下这里粗粒度的划分了异构数据源、数据传输、数据仓库、应用分析、及整体管理几层。其中源数据主要指的数仓的数据来源，有数据库数据、文件类型数据、还有接口等http传输的数据。数据库数据大多都是业务的数据，例如mysql、oracle等；文件类型大多是日志数据、离线csv等格式化数据；http传输主要
转载
2023-08-08 11:12:56
291阅读
数据仓库概念的提出都要追溯到上世纪了，我们认为在大数据元年之前的数仓可以称为传统数仓，而后随着海量数据不断增长，以及Hadoop生态不断发展，主要基于Hive/HDFS的离线数仓架构可以兴起并延续至今，近几年随着Storm/Spark（Streaming）/Flink等实时处理框架的更新迭代乃至相互取代，各厂都在着力构建自己的实时数仓，特别是近两年，随着Flink声名鹊起，实时数仓更是名声在外并且
转载
2024-06-10 10:19:25
212阅读
一：数据仓库(概述)所有的表设计都要参照业务总线矩阵 三： 维度建模理论之事实表
事实表通常比较“细长”，即列较少，但行较多，且行的增速快。事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用（维度表外键）以及该业务过程的度量（通常是可累加的数字类型字段）。事实表主要包含维度外键和度量事务事实表，周期快照事实表，累计快照事实表
目录前言一、ODS层 (用户行为数据)1. 创建日志表 ods_log2. Shell 中单引号和双引号区别3. ODS 层日志表加载数据脚本二、ODS 层 (业务数据)1. 创建业务表2. ODS 层业务表首日数据装载脚本3. ODS层业务表每日数据装载脚本 前言保持数据原貌不做任何修改，起到备份数据的作用。数据采用 LZO 压缩，减少磁盘存储空间。100G 数据可以压缩到 10G 以内。创建
转载
2024-03-11 13:14:51
130阅读
数据仓库的概念，最早是在1991年被提出，而直到最近几年的大数据趋势下，实时数据处理快速发展，使得数据仓库技术架构不断向前，出现了实时数仓，而实时数仓又分为批数据+流数据、批流一体两种架构。1、离线数仓 离线数仓，其实简单点来说，就是原来的传统数仓，数据以T+1的形式计算好放在那里，给前台的各种分析应用提供算好的数据。到了大数据时代，这种模式被称为“大数据的批处理”。 只不过原本的单
转载
2023-10-12 08:39:51
151阅读
目录前言：1.实时数仓1.02.实时数仓2.03实时数仓3.0 前言：数据处理现状：当前基于Hive的离线数据仓库已经非常成熟，数据中台体系也基本上是围绕离线数仓进行建设。但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。1.实时数仓1.0传统意义上我们通常将数据处理分为离线数据处理和实
转载
2024-08-21 18:53:52
187阅读
面试题问题1：in exists 的区别 not in 和 not exists的区别？答案：n 是一个集合运算符. a in {a,c,d,s,d…} 这个运算中,前面是一个元素,后面是一个集合,集合中的元素类型是和前面的元素一样的. 而exists是一个存在判断,如果后面的查询中有结果,则exists为真,否则为假.not in 和not exists如果查询语句使用了not in 那么内外表
转载
2023-10-31 19:27:32
353阅读
大纲 一、数仓基本概念 1、数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。这里参考此定义，把数据仓库架构
转载
2023-11-01 21:25:24
454阅读
文章目录15.0 数仓搭建-DWT层15.1 访客主题15.2 用户主题15.3 商品主题15.4 优惠券主题15.5 活动主题15.6 地区主题15.7 DWT层首日数据导入脚本15.8 DWT层每日数据导入脚本 15.0 数仓搭建-DWT层15.1 访客主题1）建表语句DROP TABLE IF EXISTS dwt_visitor_topic;
CREATE EXTERNAL TABLE
转载
2024-02-01 11:19:39
38阅读
文章目录新增用户业务指标每日新增用户明细表留存用户业务指标用户留存明细表 新增用户业务指标留存用户：指某段时间的新增用户，经过一段时间后，仍继续使用应用认为是留存用户新增会员：第一次使用应用的用户，定义为新增会员；卸载再次安装的设备，不会被算作一次新增。计算关系：先计算新增会员 => 再计算留存用户在DWD用户每日启动明细表中，新增用户数+旧的所有用户信息=新的所有用户信息，此时的计算关系
转载
2023-10-01 11:17:26
234阅读
目录0. 相关文章链接1. 数据仓库在整个应用中的位置2. 此次重构的数据仓库具体分层架构3. 数据仓库为什么要分层4. 此次重构的数据仓库命名规范4.1. 表命名4.2. 表字段类型0. 相关文章链接 离线数仓文章汇总 1. 数据仓库在整个应用中的位置 数据仓库在企业是处于非常重要的位置；往前接收经由埋点而获取的用户行为日
转载
2024-08-13 15:59:49
23阅读
1、数仓的概述 数仓主要是用于数据的存储、管理和分析 数仓与关系型数据库最大的区别在于能够存储历史数据,后续可以将数据按照时间曲线分析。 2、数仓的架构 日志数据->日志服务器本地磁盘[多台]->flume->kafka->flume->HDFS->HIVE[ODS/DWD/DIM/DWS/ADS] ->DATAX ->MYSQL ->可视化
转载
2023-11-12 20:46:04
60阅读
# 实现离线数仓 Spark 的全过程
本文将帮助你了解如何实现离线数仓的 Spark 方案。离线数仓主要用于数据的批量处理和分析，Spark 是一种性能极高的处理引擎，适合大规模数据的处理。本文将通过以下步骤帮助你完成这个任务。
## 流程概述
我们可以将实现离线数仓的流程归纳为以下几个步骤：
```mermaid
flowchart TD
A[数据采集] --> B[数据清洗]
# 构建 Spark 离线数仓的流程
作为一名刚入行的小白，构建 Spark 离线数据仓库可能会显得有些复杂。不过，遵循以下流程，你很快就能上手。这篇文章将带你一步步实现这个目标。
## 整体流程
| 步骤 | 描述 |
|-----------|------------------------------|
| 1
原创
2024-10-24 06:26:30
114阅读
1.离线数仓离线数仓架构基本都是基于 Hive进行构建，数据分层方式如下：ODS Operational Data store，贴源层（原始数据层）从各个业务系统、数据库或消息队列采集的原始数据，只做简单处理，尽可能维持数据原貌DWDData Warehouse Detail，数据明细层将贴源层的原始数据进行清洗补全后存入该层，数据粒度保持不变DIM Dimension，维度层根据数据的实际情况抽
转载
2023-09-22 16:11:10
239阅读
@1、前言 在团队开发中，一个好的 API 文档不但可以减少大量的沟通成本，还可以帮助一位新人快速上手业务。传统的做法是由开发人员创建一份 RESTful API 文档来记录所有的接口细节，并在程序员之间代代相传。这种做法存在以下几个问题：API 接口众多，细节复杂，需要考虑不同的HTTP请求类型、HTTP头部信息、HTTP请求内容等，想要高质量的完成这份文档需要耗费大量的精力；难以维护。随着需
转载
2024-06-07 10:50:16
56阅读
第一章 数仓概念数仓定义（Data Warehouse）为企业所有决策制定过程，提供所有系统数据支持的战略合辑
说白了，公司所有的数据都可以汇聚到数据仓库里
公司的数据来源
- 日志采集系统
- 业务系统数据库
- 爬虫系统等
所有业务部门的数据都可以放入数仓，数据库就无法完成这样的功能数仓的好处可帮助企业改进业务流程，控制成本，提高产品质量数仓能做什么清洗，转义，分类，重组，合并，拆分，统计等
转载
2023-11-14 20:40:30
71阅读
点赞
本文围绕离线数仓项目展开，重点阐述了电商业务需求分析、架构与模型设计、数仓系统性能基准以及性能相关指标优化等内容。在电商业务需求分析方面，强调了充分调研的重要性，包括了解组织架构、业务架构、各业务板块主要功能及数据需求等。架构与模型设计部分，详细介绍了技术架构选型、数仓分层设计以及各层的数据模型设计要点。数仓系统性能基准和性能相关指标优化则涉及数据同步时间、存储大小记录以及Hash Clustering等优化技巧，旨在提升数仓性能。
Hive离线数仓
总体架构尚硅谷离线数仓5.0总体架构图用户行为采集平台本项目收集和分析的用户行为信息主要有页面浏览记录、动作记录、曝光记录、启动记录和错误记录。用户行为采集平台 - 核心本地磁盘 -> 采集Flume + Kafka + 消费Flume-> HDFS采集FlumeTailDir Source优点：断点续传（通过保存文件实现）
转载
2024-01-29 16:42:03
137阅读
