动静态分区的区别动静态分区建表是一样的 #静态分区SP(static partition) 1.静态分区是手动指定的，会根据自己的设定在大文件下面创建对应的子文件夹数量 添加语句:alter table mydemo.customer add partition(year='1999') partition(year='2000')这个表示添加两个分区，也就是创建两个子文件夹。 2.静态分区的分区
转载
2024-02-20 10:46:55
28阅读
HIve数仓新零售项目注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，Python Java Scala SQL 代码，CV NLP 推荐系统等，Spark Flink Kafka Hbase Hive Flume等等~写的都是纯干货，各种顶会的论文解读，一起进步。 今天继续和大家分享一下HIve数仓新零售项目 #博学谷IT学习技术支持 文章
转载
2023-09-15 20:48:42
121阅读
存储过程中查不到system模式下的表数据(NO_DATA_FOUND)set ngmr.dd.local.mode.auto=false;
# 系统表实际上是mysql表的视图，默认为local模式应该会更快捷一点。但是应该有地方配置错误，所以需要关闭local模式，但是会牺牲一点查询性能不能Rename表set inceptor.torc.allow.rename=true;
# 星环给的解释
（图片于网络，侵删）一、数据采集模块【1】Linux环境搭建Linux配置请看这篇?Linux基本配置【2】Hadoop环境搭建1）基础环境创建[node01]
cd ~
mkdir bin
cd bin
vim xsync
=======================如下========================
#!/bin/bash
#1 获取输入参数个数，如果没有参数，
第1章 需求分析和实现思路
1.1 实时数仓分层
在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。我们这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为dwd层。1.2 每层职能
分层数据描述生成计算工具存储媒介ODS
转载
2024-05-29 06:13:58
105阅读
# Hive数仓DWD层同步策略
随着大数据技术的发展，越来越多的企业开始建立自己的数据仓库，其中Hive因其优秀的性能和灵活性受到了广泛的欢迎。本文将探讨Hive数仓的DWD（数据仓库层次模型中的数据仓库数据层）层同步策略，并通过代码示例加以说明。
## DWD层简介
在数据仓库的建模中，DWD层位于ODS层（操作数据存储层）和DWS层（数据仓库汇总层）之间。DWD层的主要功能是通过对数据
原创
2024-10-24 05:57:13
224阅读
# 实现dwd层和dws层的步骤和代码解释
## 引言
在数据仓库的建设中，dwd层和dws层是两个非常重要的概念。dwd层（Data Warehouse Detail）是数据仓库的基础层，用于存储原始的明细数据；dws层（Data Warehouse Summary）是数据仓库的汇总层，用于存储经过加工和计算后的数据。
作为一位经验丰富的开发者，我将会向你介绍实现dwd层和dws层的步骤，
原创
2024-01-15 21:58:44
130阅读
1概要说明业务域的数据来自业务系统的数据库 通过sqoop（或datax）抽取到数仓的ods层 在ods层对有需要的表进行增量合并，字段选择，反范式话，形成dwd明细层表 在明细层基础上，进行各类主题的数据统计、分析 课程中，主要分析的主题有：交易域分析营销域分析会员域分析物流域分析仓储域分析供应域分析…什么是业务系统： 公司向用户提供业务功能的系统，比如 京东：京东商城！ 头条：头条网站 这一类
2019/2/20 星期三此笔记参考2017年 优化与2019/2/20 星期三Hive的设计思想和技术架构Hive的基础Hive是一种数据仓库工具，他的功能是讲SQL语法表达的数据运算逻辑转换为mapreduce程序在hadoop集群上对海量数据进行分析 //Hive创建索引hive的设计思想库：sql语法表达成MapReduce的jar库因为，sql语法相对是一个规则的东西，我们把sql语法用
转载
2023-11-30 11:48:46
25阅读
什么是ETL：即extract：提取transform：转换load：加载ETL其实是数据清洗后的数据 什么是数据中台：从抽取数据开始，到最终用户看到，这一系列过程都是数据中台；指的是一套数据应用和工具，包括分布式ETL、数据资产管理、数据标签管理、数据沙箱、自助分析平台、元数据管理、数据质量管理等等，底层则已现有的数仓、大数据平台等为数据源，为企业提供数据资产管理的能力，并持续挖掘数据
转载
2023-07-11 22:42:02
204阅读
看了几天的Hadoop生态系统，对Hive,Pig,HBase搞的有些糊涂，查阅时发现糊涂的不止我一个，如某个鸟问的帖子发表的疑问，when to use Hbase and when to use Hive？....请教了google，现总结如下：PigPig是一种数据流语言，用来快速轻松的处理巨大的数据。Pig包含两个部分：Pig Interface,Pig Latin。Pig可以非常方便的处
转载
2023-07-31 15:16:17
88阅读
mysql 和 hive 中几种关联（join/union） 的区别mysql1.INNER JOINJOIN2.FULL [OUTER] JOIN3.LEFT [OUTER] JOINRIGHT [OUTER] JOINUNION 与 UNION ALLhivehive里面使用join时注意：inner join（内连接）（把符合两边连接条件的数据查询出来）left join（左连接，等同于
转载
2023-07-12 22:08:22
179阅读
## Hive 与 MapReduce 的关系
在大数据处理的领域中，Apache Hive 和 MapReduce 是其中两个重要的组件。Hive 是一个建立在 Hadoop 之上的数据仓库工具，用于处理大规模的数据集，而 MapReduce 是 Hadoop 的核心计算模型，用于处理和生成大数据集。接下来我将为你详细介绍 Hive 与 MapReduce 的关系，以及如何使用它们进行数据处理
原创
2024-10-21 05:34:32
33阅读
# 实现iceberg与hive的关系
## 一、流程
下面是实现iceberg与hive的关系的具体步骤：
| 步骤 | 描述 |
| ------ | ------ |
| 步骤一 | 创建Hive表 |
| 步骤二 | 链接Iceberg表 |
| 步骤三 | 写入数据到Iceberg表 |
| 步骤四 | 查询Iceberg表 |
## 二、具体步骤
### 步骤一：创建Hive
原创
2024-06-13 05:16:13
132阅读
# Presto与Hive的关系
Presto是一种用于高性能数据查询的开源分布式SQL查询引擎，支持在大规模数据集上进行交互式分析。而Hive是一种数据仓库软件，可以对存储在Hadoop集群上的数据进行管理和查询。Presto与Hive之间有着密切的关系，可以相互配合使用来提高数据处理和查询的效率。
## Presto与Hive的关系
Presto可以与Hive集成，通过Hive的元数据存
原创
2024-03-14 05:35:14
188阅读
（转）初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了，我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂，不要紧糊涂的不止你一个，如某个菜鸟的帖子的疑问，when to use Hbase and when to use Hive?....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。
Pig
一种操作hadoop的轻量级脚本语言，最初又
11.1 实验环境介绍集群环境正常运行集群安装了Hive和Impala服务操作系统：Redhat6.5CDH和CM版本为5.11.1采用sudo权限的ec2-user用户进行操作11.2 UDF函数开发——使用Intellij工具使用Intellij工具开发Hive的UDF函数通过Maven创建一个Java工程pom.xml文件中增加Hive包的依赖<dependency>
<
1.什么是Hive?管理大型数据集驻留在分布式存储(Hadoop)使用SQL。 结构可以投影到存储中的数据上。 客户端的连接方式可采用：command line 和 JDBC Driver &
转载
2023-10-16 07:27:31
62阅读
# 实现 Hive 数据仓库分层 DWD 的步骤指南
在现代数据分析中，数据仓库的设计至关重要。分层的数据仓库通常包括多个层次，DWD（Data Warehouse Data）层是其中之一。DWD 层存储经过清洗和结构化的事件数据，准备好供后续分析使用。本文将介绍如何建立 Hive 的 DWD 层。
## 流程概述
以下是实现 Hive 数据仓库 DWD 层的基本流程：
| 步骤 | 描述
今天在开发过程中发现老师给的一个spark实验中大量用到了hive，甚至不用spark也可以完成，于是我就对这两个东西之间的关系去查了一些资料，在这里汇总下大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨
转载
2023-07-14 19:57:53
13阅读
