一、基本概念1.什么是hive The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data alr
转载
2024-05-23 11:21:03
43阅读
一、概述当我们书写一些结构相对复杂的SQL语句时，可能某个子查询在多个层级多个地方存在重复使用的情况，这个时候我们可以使用 with as 语句将其独立出来，极大提高SQL可读性，简化SQL~二、介绍with as 也叫做子查询部分，首先定义一个sql片段，该sql片段会被整个sql语句所用到，为了让sql语句的可读性更高些，作为提供数据的部分，也常常用在union等集合操作中。with as就类
转载
2023-10-12 18:26:13
133阅读
一、Hive基本概念1.1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上1.2 Hive的优缺点1.
转载
2023-07-12 17:00:23
63阅读
# Hive 副本的作用及实现
当你开始探索 Hive 存储和处理大数据时，可能会遇到副本（Replication）的概念。副本在 Hive 中的作用主要是为了提高数据的可靠性和可用性。本文将带你了解 Hive 副本的作用和如何实现副本的流程。
## 副本的作用
在 Hive 中，副本主要用于以下方面：
1. **数据冗余**：保存一份数据的备份，确保在主数据丢失时可以通过副本恢复。
2.
# Hive分库的作用及示例
Hive是基于Hadoop的数据仓库工具，可以用来处理和分析大数据。随着数据量的不断增长，数据的组织和管理变得愈加重要。为了应对日益增加的数据存储需求，Hive分库（即将表分散在多个数据库中）成为一种有效的解决方案。本文将介绍Hive分库的概念、作用以及实施示例。
## 一、Hive分库的概念
Hive分库的主要思想是将数据表分散到不同的数据库中。这种方法有助于
Hive是建立在Hadoop上的数据仓库基础构架。对于有一定基础的大数据学习者来讲，Hive是必须掌握的核心技术。本文主要带大家来认识一下Hive，了解什么是Hive？为什么要用Hive？如果大家对这些问题好奇，就一起看看接下来的内容吧~1、什么是Hive？（1）Hive的定义Hive一个可以将结构化的数据文件映射为一张数据库表并提供类SQL查询功能的数据仓库工具，而且它是基于Hadoop的。因此
转载
2023-11-06 12:24:36
75阅读
一. 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL(Hive Query Language)转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上&nbs
转载
2023-07-13 21:44:01
95阅读
Hive简介、原理及hive部署和使用介绍Hive简介Hive概念Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序【注意】：（1）被Hive处理的数据存储在HDFS上，并不是Hive本身用的数据库（2）Hive分析数据底层的实现
转载
2023-10-03 20:10:25
13阅读
Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛。需要对Hadoop底层原理，api比较了解才能做开发。Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现MapRed
转载
2023-07-12 12:47:39
38阅读
本文是基于CentOS 7.9系统环境，进行hive的学习和使用一、Hive的简介1.1 Hive基本概念(1) 什么是hiveHive是用于解决海量结构化日志的数据统计工具，是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能(2) Hive的本质Hive的本质就是将HQL转化成MapReduce程序1.2 Hive优缺点(1) 优点操作接口采用类SQ
转载
2023-08-10 11:28:08
252阅读
Hive1.基本概念Hive本质上是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。通俗一点就是Hive相当于一个hadoop的客户端，利用hdfs存储数据，利用mapreduce计算框架来进行计算任务，好处就是可以将人从繁琐的mapreduce程序中解放出来，通过编写简单的HQL语句从而实现对复杂逻辑的运算。2.优缺点优点采用类sql的语
转载
2023-07-12 16:15:08
87阅读
目录前言：1、Hive简介2、Hive架构3、Hive与Hadoop的关系4、Hive与传统数据库对比5、Hive的数据存储总结： 目录前言：为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大使用Hive的优点： 操作接口采用类SQL语法，提供快速开发的能力。 避免了去写MapReduce，减少开发人
转载
2023-08-16 18:40:11
121阅读
# 实现Hive物化视图的作用
## 介绍
在Hive中，物化视图是一种预先计算并存储结果的查询结果集，可以帮助提高查询性能和减少重复计算。本文将介绍如何在Hive中实现物化视图的作用，以提升查询效率。
## 流程步骤
以下是实现Hive物化视图的流程步骤，可以用表格展示：
| 步骤 | 操作 |
| ---- | ----------------- |
| 1
原创
2024-05-10 04:04:12
31阅读
# 理解 Hive 中的 Bucketing
在使用 Apache Hive 时，理解 Bucketing 的概念和实现过程对数据分析和查询效率提升至关重要。在这篇文章中，我们将逐步解析 Hive 中的 Bucketing 机制，包括其作用、实现步骤以及相关代码示例。
## Bucketing 的作用
Bucketing 是一种将数据分散到多个文件中的机制，主要用于以下目的：
1. **提
# Hive临时表的作用及实现步骤
## 概述
Hive是基于Hadoop的数据仓库工具，它提供了一种类似于SQL的查询语言HiveQL来进行数据的查询和分析。Hive中的临时表是在查询过程中动态创建的表，它的作用是临时存储中间结果，方便后续的数据处理和分析。在本文中，将介绍Hive临时表的作用和实现步骤。
## 作用
Hive临时表具有以下几个作用：
1. 中间结果存储：在复杂的数据处理过程
原创
2023-11-01 07:38:54
324阅读
Hive 整体介绍一、Hive 总体架构1.1 客户端 Client1.2 驱动器 Driver1.3 元数据存储 Meta Store1.4 Map/Reduce 和 HDFS二、Hive 安装三、Hive DDL & DML 介绍四、Hive 视图4.1 创建视图4.2 删除视图4.3 更改视图五、Hive函数(内置、窗口、自定义函数)5.1 内置函数5.2 窗口函数5.3 自定义函
转载
2023-08-18 22:30:05
114阅读
1.Hive简介Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能关键字：结构化日志，数仓工具，提供SQL查询功能2.Hive本质hive的本质：将HQL转化成MapReduce程序 （1）Hive处理的数据存储在HDFS （2）Hive分析数据底层的实现是MapReduc
转载
2023-07-20 19:02:01
45阅读
hive产生的意义使用SQL来操作Hadoop,从而简化代码更容易操作Hive：一个基于Hadoop之上的中间件简单来说就是: 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类 SQL 查询功能,本质是将 SQL 转换为 MapReduce 程序,主要用途是用来做离线数据分析，比直接用 MapReduce 开发效率更高。为什么使用 Hive ?因为Map
转载
2023-09-08 14:26:08
64阅读
一、基本概念 hive中分区表分为：范围分区、列表分区、hash分区、混合分区等。 分区列：分区列不是表中的一个实际的字段，而是一个或者多个伪列。翻译一下是：“在表的数据文件中实际上并不保存分区列的信息与数据”，这个概念十分重要，要记住，后面是经常用到。1.1 创建数据表 下面的语句创建了一个简单的分区表： create table partition_tes
转载
2024-02-02 15:32:37
113阅读
库操作1、创建库语法结构 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
[COMMENT database_comment] //关于数据块的描述
[LOCATION hdfs_path] //指定数据库在HDFS上的存储位置
[WITH DBPROPERTIES (proper
转载
2024-08-22 16:15:11
76阅读
