1、什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）2、Hive的意义（最初研发的原因） 避免了去写MapReduce，提供快速开发的能力，减少开发人员的学习成本。3、Hive的内部组成模块，作用分别是什么 1．元数据：Metastore 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列
转载
2023-07-14 11:39:10
194阅读
这里正式进入hive的学习，学习hive我们要知道几个问题。 1.什么是hive？ 2.hive能干什么？ 3.为什么要学习hive？ 4.hive怎么学 开门见山，说一下hive是什么 Hive是建立在Hadoop HDFS上的数据仓库基础架构。。 hive 是基于Hadoop的一一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表,并提供完整的sq|查询功能，可以将sql语句转换为Map
转载
2023-09-21 09:37:34
50阅读
# 阿里 EMR 查询 Hive 原数据的步骤指南
在大数据时代，Hive 是一种常用的数仓工具，而阿里 EMR（Elastic MapReduce）提供了强大的大数据处理能力，常常用于查询 Hive 原数据。对于刚入行的小白来说，理解这一过程的每一步至关重要。接下来，我们将逐步解析如何在阿里 EMR 中查询 Hive 原数据。
## 查询流程概述
以下是查询 Hive 原数据的基本步骤和流
# Hive Insert 不删除原数据的实现指南
在大数据处理领域，Apache Hive 是一个非常流行的数据仓库工具，允许用户通过类 SQL 查询来处理数据。在某些情况下，用户希望插入新数据而不删除原有数据，这时候就需要用到 Hive 的插入操作。
本文将详细介绍如何通过一步步的流程，来实现 Hive 的插入操作，并保留原有数据。
## 流程概述
下表总结了实现 Hive 插入不删除
原创
2024-08-20 05:36:14
89阅读
说明：该文章基于多篇博客整理而成，涉及的技术点已贴上链接。一、数据倾斜的理解1.数据倾斜是大数据中很常见的一个现象，一般针对数据倾斜我们都会对数据进行加盐或者repartition 等等，hive中的distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列，根据reduce的个数进行数据分发，默认是采用hash算法。对于distrib
转载
2023-07-12 20:40:20
230阅读
数据仓库概念数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 传统的数据仓库是数据存储产品也是数据处理分析产品，能同事支持数据的存储和处理分析 传统数据仓库所面临的挑战无法满足快速增长的海量数据存储需求无法有效处理不同类型的数据计算和处理能力不足构建在Hadoop平台之上的HiveHive本身不支持数据存储和处理，为用户提供了一种编程语言HiveQL，用户根
转载
2023-09-15 21:51:27
65阅读
1.基本概念数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持。数据仓库是存数据的，企业的各种数据都往里面存，主要目的是分析有效数据，后续会基于它产出供分析挖掘的数据。2.数据仓库的分层架构 ------------恢复内容开始------------1.基本概念数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持。数据仓库是存数据的，企业的各种数据
转载
2023-07-21 23:47:59
84阅读
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类sql语句的查询功能；Hive使用Hql作为查询接口，使用HDFS存储，使用mapreduce计算；Hive是非关系型数据库即NoSQL（Not Only SQL）。关系数据库，是建立在关系模型基础上的数据库，一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。1. 查询语言。由于 SQL 被广泛的
转载
2024-06-24 21:02:26
72阅读
## Hive 覆盖写入与原分区删除
在数据处理和分析的过程中，Hive 是一个非常强大且流行的工具。覆盖写入（Overwrite）是一项重要的功能，它允许我们在数据表中用新数据替换旧数据。在这个过程中，理解原分区的处理就显得尤为重要。本文将教你如何实现 Hive 的覆盖写入以及原分区的删除。
### 流程概述
我们将通过以下步骤来完成覆盖写入，并确保删除原分区的数据。
| 步骤 | 说明
原创
2024-10-29 03:40:45
168阅读
1） hive 简介Hive：由Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL 查询功能。2） Hive 本质将HQL 转化成MapReduce 程序：（1）Hive 处理的数据存储在HDFS（2）Hive 分析数据底层的实现是MapReduce（3）执行程序运行在Yarn 上...
原创
2021-08-10 10:21:52
171阅读
一、Hive 概念Hive 是基于 Hadoop 的数据仓库软件，可以查询和管理 PB 级别的分布式数据。数据仓库已用多种方式定义，很难给出一种严格的定义。宽泛来讲，数据仓库是一种数据库，他与单位的操作数据库分别维护。数据仓库系统允许将各种应用系统集成在一起，为统一的历史数据分析提供坚实的平台，对信息处理提供支持。数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理者的决策过程。面
转载
2023-07-14 12:59:04
131阅读
1） hive 简介Hive：由Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，
原创
2022-02-13 14:02:09
101阅读
1. 序言大数据处理过程，由于量大耗时，数据效率是首要考虑的。如何避免数据倾斜和加快数据处理。主要分两部分建表过程 ，处理过程。2. 建表通常情况数据源或二次处理结果都不能直接应用或者最终结果，需要进一步处理。建表模型需要考虑效率处理。大数据语境就是合理、有序、一致的建立分区。 比如上百亿的汇总数据，除了安装时间细粒度建立分区外，另外根据后续处理join的链接键值建立分区。比如用户ID后三位。 业
转载
2023-07-12 12:47:49
59阅读
在hive或者impala中，null值表示这个字段值为空值（没有值），一般情况下我们把数据从原始系统抽取到数仓ODS层的时候，都要做空值处理，比方说用nvl()函数把空值置为0或者空字符串等等，如果不处理，后续可能给开发带来坑。下面以一个具体的例子说明笔者在开发的时候，由于疏忽大意，没对空值进行处理，导致的问题。具体就是null值在和任何值作比较的时候，都认为不成立。比方说，有个student表
转载
2023-05-21 18:43:52
123阅读
1.由于 Hive 采用了类似 SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本节将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是 Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。
转载
2023-07-12 09:53:34
77阅读
文章目录一、问题描述二、排查过程1. 梳理hive程序的执行流程2. 推测问题产生的原因3. 通过arthas找出罪魁祸首4. 问题总结和解决办法三、个人反思和一些总结 想直接看结论和解决方案的同学可以直接跳到2.4章节。 一、问题描述前几天有用户反馈将hive查询结果以orc导入到hdfs目录时出现异常，sql大概如下:insert overwrite directory '/tmp/' st
转载
2023-10-02 19:35:39
493阅读
大数据分析利器之hive1.数据仓库介绍1.1 数据仓库的基本概念1.2 数据仓库的主要特征1.3 数据仓库与数据库区别1.4 数据仓库分层架构2. hive介绍2.1 什么hive2.2 Hive与数据库的区别2.3 Hive的优缺点2.4 Hive架构原理3. Hive的安装部署4. hive的交互方式4.1 Hive shell交互4.2 Hive JDBC服务4.3 Hive的命令5 H
转载
2024-02-20 11:21:46
28阅读
一、数据仓库Hive概述1、数据仓库 数据仓库：是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 根本目的：支持企业内部的商业分析和决策，基于数据仓库的分析结果，做出相关的经营决策。2、数据仓库和传统数据库的区别？ （1）数据仓库相对稳定 （2）传统数据库只能保留某一时刻的状态信息，数据仓库保留所有的历史数据，帮助企业构建经营分析系统。 （3）面临挑战：传统数据仓库
转载
2023-07-13 16:34:41
83阅读
下图是 hive 系统的整体结构图
Hive 体系结构 上图显示了 Hive 的主要组件以及 Hive 跟 Hadoop 的交互过程，这些组件分别是： UI：用户提交查询和其他操作到系统的用户接口。 Driver：接收查询的组件，负责 session 管理，提供基于 JDBC/ODBC 接口的执行和数据拉取 API。 Compiler：解析查询，对查询的不同部分做语法分析，生
转载
2023-10-01 15:58:05
149阅读
大数据之hive（一）一、hive简介1. Hive是什么？2. hive的优缺点（1）优点：（2）缺点：3. hive架构原理 一、hive简介1. Hive是什么？hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。它所有的数据都存储在hadoop兼容的文件系统中。hive在加载数据过程不会对数据进行任何修改，只是将数据移动到hdfs中h
转载
2023-07-12 17:05:30
31阅读
