移动智能应用可以分为在线模式、纯离线模式与“在线+离线”混合模式。在线模式下系统数据一般存储在服务器端的大中型数据库（如 SQL Server、Oracle、MySQL 等），移动应用依赖于稳定可靠的网络连接；纯离线模式下系统数据一般存储在移动终端的轻量级数据库（如 SQLite等），移动应用不需要网络连接；“在线+离线”混合模式则比较复杂，通常情况下系统数据存储在服务器端，移动终端暂存部分数据，
1.离线数仓离线数仓架构基本都是基于 Hive进行构建，数据分层方式如下：ODS Operational Data store，贴源层（原始数据层）从各个业务系统、数据库或消息队列采集的原始数据，只做简单处理，尽可能维持数据原貌DWDData Warehouse Detail，数据明细层将贴源层的原始数据进行清洗补全后存入该层，数据粒度保持不变DIM Dimension，维度层根据数据的实际情况抽
转载
2023-09-22 16:11:10
155阅读
目录前言一、DWD 层 (用户行为日志)1. 日志解析思路2. get_json_object 函数使用3. 启动日志表4. 页面日志表5. 动作日志表6. 曝光日志表7. 错误日志表8. DWD 层用户行为数据加载脚本二、DWD层 (业务数据)1. 评价事实表 (事务型事实表)2. 订单明细事实表 (事务型事实表)3. 退单事实表 (事务型事实表)4. 加购事实表 (周期型快照事实表，每日快照
1. 什么是ETL，ETL都是怎么实现的？ ETL中文全称为：抽取.转换.加载 extract transform load ETL是传数仓开发中的一个重要环节。它指的是，ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL
[Hadoop]数仓工具Hive的安装部署?作者：喜欢水星记?系列：Hadoop高可用集群?收藏：本文记录我搭建过程供大家学习和自己之后复习，如果对您有用，希望能点赞收藏加关注Hive的简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。最初，Hive是由Facebook开发，
目录前言一、ODS层 (用户行为数据)1. 创建日志表 ods_log2. Shell 中单引号和双引号区别3. ODS 层日志表加载数据脚本二、ODS 层 (业务数据)1. 创建业务表2. ODS 层业务表首日数据装载脚本3. ODS层业务表每日数据装载脚本 前言保持数据原貌不做任何修改，起到备份数据的作用。数据采用 LZO 压缩，减少磁盘存储空间。100G 数据可以压缩到 10G 以内。创建
最近在学习大数据的离线分析技术，所以在这里通过做一个简单的网站点击流数据分析离线系统来和大家一起梳理一下离线分析系统的架构模型。当然这个架构模型只能是离线分析技术的一个简单的入门级架构，实际生产环境中的大数据离线分析技术还涉及到很多细节的处理和高可用的架构。这篇文章的目的只是带大家入个门，让大家对离线分析技术有一个简单的认识，并和大家
Hive离线数仓
总体架构尚硅谷离线数仓5.0总体架构图用户行为采集平台本项目收集和分析的用户行为信息主要有页面浏览记录、动作记录、曝光记录、启动记录和错误记录。用户行为采集平台 - 核心本地磁盘 -> 采集Flume + Kafka + 消费Flume-> HDFS采集FlumeTailDir Source优点：断点续传（通过保存文件实现）
面试题问题1：in exists 的区别 not in 和 not exists的区别？答案：n 是一个集合运算符. a in {a,c,d,s,d…} 这个运算中,前面是一个元素,后面是一个集合,集合中的元素类型是和前面的元素一样的. 而exists是一个存在判断,如果后面的查询中有结果,则exists为真,否则为假.not in 和not exists如果查询语句使用了not in 那么内外表
Hologres揭秘:深度解析高效率分布式查询引擎-阿里云开发者社区介绍xxx实时数仓发展背景介绍xxx实时数仓1.0从2019年开始搭建，基于Kudu OLAP引擎构建，前期承载业务不多，任务量不大，运行稳定、性能也很高，比较适合前期的技术选型；自2020年后，xxx进入业务快速发展期，实时开始承接更多的业务需求，包括营销域、交易域、教学域等数据域的建设以及实时大屏，随着需求增多，实时数仓任务量
目录0. 相关文章链接1. 数据仓库在整个应用中的位置2. 此次重构的数据仓库具体分层架构3. 数据仓库为什么要分层4. 此次重构的数据仓库命名规范4.1. 表命名4.2. 表字段类型0. 相关文章链接 离线数仓文章汇总 1. 数据仓库在整个应用中的位置 数据仓库在企业是处于非常重要的位置；往前接收经由埋点而获取的用户行为日
1、数仓的概述 数仓主要是用于数据的存储、管理和分析 数仓与关系型数据库最大的区别在于能够存储历史数据,后续可以将数据按照时间曲线分析。 2、数仓的架构 日志数据->日志服务器本地磁盘[多台]->flume->kafka->flume->HDFS->HIVE[ODS/DWD/DIM/DWS/ADS] ->DATAX ->MYSQL ->可视化
1、hive环境搭建1.1、hive引擎简介Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。1.2、hi
1.1 分桶表1.1.1 分桶表概念 分区和分桶可以同时，分桶是更细粒度的分配方式。分区是追求效率，分桶又解决什么问题呢？海量数据的分开存储。 对于每一个表（table）或者分区， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive也是针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。 把表（或
转载
2023-07-12 16:35:24
144阅读
# 替换Hive的离线数仓新技术探讨
在大数据生态系统中，Apache Hive 曾经是构建离线数仓的主流选择。随着数据量的增加和业务需求的变化，Hive 在某些方面如性能和灵活性上逐渐显露出短板，促使我们寻求更优秀的替代方案。本文将介绍一些替代 Hive 的新技术和工具，并通过代码示例和类图解释其背后原理。
## 替代技术概述
在 Hive 的传统体系下，大多数的查询是通过 MapRedu
第一部分：字符集规范【强制】数据库字符集指定utf-8，并且只支持utf-8。 命令规范【建议】库名统一使用小写方式，中间用下划线（_）分割，长度62字节内【建议】表名称大小写敏感，统一使用小写方式，中间用下划线（_）分割，长度64字节内第二部分：建表规范【强制】确保每个tablet大小为1-3G之间。举例：假设表内单分区数据量在100G，按天分区,bucket数量100个。【强烈建议】
原创
精选
8月前
10000+阅读
点赞
1评论
第一部分：字符集规范【强制】数据库字符集指定utf-8，并且只支持utf-8。 命令规范【建议】库名统一使用小写方式，中间用下划线（_）分割，长度62字节内【建议】表名称大小写敏感，统一使用小写方式，中间用下划线（_）分割，长度64字节内第二部分：建表规范对于历史数据，如果数据量比较小我们可以创建历史分区（比如年分区，月分区），将所有历史数据放到对应分区里创建历史分区方式例如：FROM
小节一：数仓介绍小节二：离线数仓应用应用架构本小结介绍下离线数仓的一个应用架构一个简单的离线数仓架构图如下这里粗粒度的划分了异构数据源、数据传输、数据仓库、应用分析、及整体管理几层。其中源数据主要指的数仓的数据来源，有数据库数据、文件类型数据、还有接口等http传输的数据。数据库数据大多都是业务的数据，例如mysql、oracle等；文件类型大多是日志数据、离线csv等格式化数据；http传输主要
转载
2023-08-08 11:12:56
252阅读
字段类型数据类型字节范围TINYINT1 字节-2^7 + 1 ~ 2^7 - 1SMALLINT2 字节-2^15 + 1 ~ 2^15 - 1INT4 字节-2^31 + 1 ~ 2^31 - 1BIGINT8 字节-2^63 + 1 ~ 2^63 - 1LARGEINT16 字节-2^127 + 1 ~ 2^127 - 1FLOAT4 字节支持科学计数法DOUBLE12 字节支持科学计数法D
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章 &nbs
