数据仓库的概念，最早是在1991年被提出，而直到最近几年的大数据趋势下，实时数据处理快速发展，使得数据仓库技术架构不断向前，出现了实时数仓，而实时数仓又分为批数据+流数据、批流一体两种架构。1、离线数仓 离线数仓，其实简单点来说，就是原来的传统数仓，数据以T+1的形式计算好放在那里，给前台的各种分析应用提供算好的数据。到了大数据时代，这种模式被称为“大数据的批处理”。 只不过原本的单
小节一：数仓介绍小节二：离线数仓应用应用架构本小结介绍下离线数仓的一个应用架构一个简单的离线数仓架构图如下这里粗粒度的划分了异构数据源、数据传输、数据仓库、应用分析、及整体管理几层。其中源数据主要指的数仓的数据来源，有数据库数据、文件类型数据、还有接口等http传输的数据。数据库数据大多都是业务的数据，例如mysql、oracle等；文件类型大多是日志数据、离线csv等格式化数据；http传输主要
转载
2023-08-08 11:12:56
252阅读
主要是实时计算 stream strom和Flink都有介绍 这里主要是sprak Spark CoreSpark 通过引人弹性分布式数据集（ RDD ）以及 RDD 丰富的动作操API ，非常好地支持了 DAG 和迭代计算 Spark 通过内存计算和缓存数据非常好地支持了迭代计算和 DAG 计算的数据共享，减少了数据读取的 IO 开销，大大提高了数据处理速度。
1.离线数仓离线数仓架构基本都是基于 Hive进行构建，数据分层方式如下：ODS Operational Data store，贴源层（原始数据层）从各个业务系统、数据库或消息队列采集的原始数据，只做简单处理，尽可能维持数据原貌DWDData Warehouse Detail，数据明细层将贴源层的原始数据进行清洗补全后存入该层，数据粒度保持不变DIM Dimension，维度层根据数据的实际情况抽
转载
2023-09-22 16:11:10
155阅读
最近一直在忙于业务需求，突然发现很久没有整理技术文档了。之前我的习惯是把遇到的问题和自己整理的一些解决方案记录到印象笔记里面。以后尽量都搬到博客里面。 进入正题，做了快两年的推荐系统，从一无所知到略知一二，一路走来经历了很多，学到了很多东西。这篇文章主要梳理一下如何用spark来做ctr预估。 主要包括4部分 填写图片摘要（选填） 1 配置文件 2 特征提取 3
数据仓库概念的提出都要追溯到上世纪了，我们认为在大数据元年之前的数仓可以称为传统数仓，而后随着海量数据不断增长，以及Hadoop生态不断发展，主要基于Hive/HDFS的离线数仓架构可以兴起并延续至今，近几年随着Storm/Spark（Streaming）/Flink等实时处理框架的更新迭代乃至相互取代，各厂都在着力构建自己的实时数仓，特别是近两年，随着Flink声名鹊起，实时数仓更是名声在外并且
1、数仓的概述 数仓主要是用于数据的存储、管理和分析 数仓与关系型数据库最大的区别在于能够存储历史数据,后续可以将数据按照时间曲线分析。 2、数仓的架构 日志数据->日志服务器本地磁盘[多台]->flume->kafka->flume->HDFS->HIVE[ODS/DWD/DIM/DWS/ADS] ->DATAX ->MYSQL ->可视化
目录前言：1.实时数仓1.02.实时数仓2.03实时数仓3.0 前言：数据处理现状：当前基于Hive的离线数据仓库已经非常成熟，数据中台体系也基本上是围绕离线数仓进行建设。但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。1.实时数仓1.0传统意义上我们通常将数据处理分为离线数据处理和实
spark基础讲解一、spark基础1.1 spark概述1.1.1 spark定义1.1.2 为什么要学习spark1.1.3 Hadoop生态圈1.1.4 spark生态1.1.5 总结1.2 spark特点1.3 spark应用场景1.4 spark架构1.5 spark运行流程 一、spark基础1.1 spark概述1.1.1 spark定义基于内存的分布式计算引擎，它的计算速度非常快
文章目录新增用户业务指标每日新增用户明细表留存用户业务指标用户留存明细表 新增用户业务指标留存用户：指某段时间的新增用户，经过一段时间后，仍继续使用应用认为是留存用户新增会员：第一次使用应用的用户，定义为新增会员；卸载再次安装的设备，不会被算作一次新增。计算关系：先计算新增会员 => 再计算留存用户在DWD用户每日启动明细表中，新增用户数+旧的所有用户信息=新的所有用户信息，此时的计算关系
转载
2023-10-01 11:17:26
147阅读
目录0. 相关文章链接1. 数据仓库在整个应用中的位置2. 此次重构的数据仓库具体分层架构3. 数据仓库为什么要分层4. 此次重构的数据仓库命名规范4.1. 表命名4.2. 表字段类型0. 相关文章链接 离线数仓文章汇总 1. 数据仓库在整个应用中的位置 数据仓库在企业是处于非常重要的位置；往前接收经由埋点而获取的用户行为日
大纲 一、数仓基本概念 1、数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。这里参考此定义，把数据仓库架构
数据仓库架构分层1. 数据仓库架构数据仓库标准上可以分为四层：ODS（临时存储层）、PDW（数据仓库层）、DM（数据集市层）、APP（应用层）。1）ODS层：为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。一般来说ODS层的数据和源系统的数据是同构的，主要目的是简化后续数据加工处理的工作。从数据粒度上来说ODS层的数据粒度是最细的。ODS层的表通常包括两类，一个用于存储当前需要加
实时数仓学习目标理解实时数仓项目的基本需求、整体架构。了解常用实施方案。能够编写Canal客户端采集binlog消息。理解google ProtoBuf序列化方式。理解Canal采集原理。实时计算应用场景及技术选型实时计算在公司的用处公司内已经采用MR与spark之类的技术，做离线计算，为什么用实时计算？离线的伤痛就是数据出的太慢有对实时数据要求高的场景比如：滴滴的风控、淘宝双十一营销大屏、电商购
转载
2023-10-03 19:18:28
129阅读
什么是Spark基于内存的，用于大规模数据处理(离线计算、实时计算、快速查询(交互式查询))的统一分析引擎。Spark特点快：Spark计算速度是MapReduce计算速度的10-100倍易用：(算法多)MR支持1种计算模型，Spsark支持更多的计算模型。通用：Spark 能够进行离线计算、交互式查询(快速查询)、实时计算、机器学习、图计算等兼容性：Spark支持大数据中的Yarn调度，支持me
转载
2023-09-22 17:37:55
63阅读
推荐阅读：世界的真实格局分析，地球人类社会底层运行原理不是你需要中台，而是一名合详细280页Dock...
转载
2022-06-13 09:51:38
4387阅读
目录前言一、DWD 层 (用户行为日志)1. 日志解析思路2. get_json_object 函数使用3. 启动日志表4. 页面日志表5. 动作日志表6. 曝光日志表7. 错误日志表8. DWD 层用户行为数据加载脚本二、DWD层 (业务数据)1. 评价事实表 (事务型事实表)2. 订单明细事实表 (事务型事实表)3. 退单事实表 (事务型事实表)4. 加购事实表 (周期型快照事实表，每日快照
目录前言一、ODS层 (用户行为数据)1. 创建日志表 ods_log2. Shell 中单引号和双引号区别3. ODS 层日志表加载数据脚本二、ODS 层 (业务数据)1. 创建业务表2. ODS 层业务表首日数据装载脚本3. ODS层业务表每日数据装载脚本 前言保持数据原貌不做任何修改，起到备份数据的作用。数据采用 LZO 压缩，减少磁盘存储空间。100G 数据可以压缩到 10G 以内。创建
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章 &nbs
数仓 1.0 ,2.01.Lambda架构Lambda将数据处理流分为在线分析和离线分析两条不同的处理路径，两条路径互相独立，互不影响。离线分析处理T+1数据，使用Hive/Spark处理大数据量，不可变数据，数据一般存储在HDFS等系统上。如果遇到数据更新，需要overwrite整张表或整个分区，成本比较高。在线分析处理实时数据，使用Flink/Spark Streaming处理流式数据，分析处
