# Hive 3.1 安装教程
## 1. 简介
Apache Hive 是建立在 Hadoop 之上的一个数据仓库基础工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询语言，将 SQL 语句转换为 MapReduce 任务进行运行，从而实现对大数据集的分析。Hive 的设计目标是提供简单易用的界面，让用户能够快速上手使用。
本教程将介绍如何在单节点的 Hadoop
原创
2023-08-17 17:46:41
105阅读
第1章 Hive基本概念
1.1 什么是Hive
Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 （1）Hive处理的数据存储在HDFS （2）Hive分析数据底层的实现是MapRedu
转载
2023-05-30 19:44:37
498阅读
第1章 Hive入门 1.1 什么是Hive1）Hive简介Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。那为什么会有Hive呢？它是为了解决什么问题而诞生的呢？下面通过一个案例，来快速了解一下Hive。例如：需求，统计单词出现个数。（1）在Hadoop课程中我们用MapReduce程序实现的，当时需要写Mappe
转载
2023-11-23 16:00:58
264阅读
Hive安装1.1下载Hive安装包官网：http://hive.apache.org/downloads.html个人建议到这里下载：http://apache.forsale.plus/1.2将hive文件上传到HADOOP集群，并解压将文件上传到 /usr tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/ 重命名: mv
转载
2023-07-31 17:28:39
353阅读
一、Spark简介 1.Spark的特点 特点1：运行速度快（内存计算，循环数据流、有向无环图设计机制） 把所有针对数据集的操作转换成一张有向无环图，整个执行引擎调度都是基于这个有向无环图，对这个有向无环图的后期操作，会进行拆分，分成不同的阶段，每一阶段分成不同的任务，再去分发到不同的机器上去执行。
转载
2019-10-30 14:54:00
154阅读
2评论
# 如何在Spark 3.1中启动Hudi Spark Shell
作为一名经验丰富的开发者，我将教你如何在Spark 3.1中启动Hudi Spark Shell。下面是整个过程的步骤以及每一步需要做的事情。
## 步骤概述
| 步骤 | 动作 |
| --- | --- |
| 步骤 1 | 下载并安装Spark |
| 步骤 2 | 下载并构建Hudi |
| 步骤 3 | 启动Hud
原创
2023-07-19 10:57:17
225阅读
一．Hive on Spark的定义 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及
转载
2023-08-04 23:24:57
328阅读
此前，我已经搭建了 hive on spark, 不 准确说 是 spark on hive, 我可以在spark 中愉快得玩耍 hive,这也符合我当时得需求：hive on spark集群环境搭建然而，通过hive客户端连接，hive 使用spark 引擎时，却报了 我无法解决得错误：hive on spark异常Failed to create Spark client for Spark
转载
2024-02-20 13:58:40
151阅读
1. 4种运行模式概述图(1) local 本地模式该模式主要用作测试用，一般编写的 spark 程序，将 master 设置为 local 或者 local[n]，以本地模式运行，所有的代码都在一个 Jvm 里面。(2) 伪分布式模式该模式所有的 Driver 和 Executor 都运行在同一台机器，在单机上模拟集群环境，和 Standalone 模式运行过程大致相同。(3)&nbs
转载
2023-06-11 15:56:37
238阅读
先说明一下，这里说的从Hive 1.1版本开始，Hive on Spark已经成为Hive代码的一部分了，并且在spark分支上面，可以看这里https://github.com/apache/hive/tree/spark，并会定期的移到master分支上面去。关于Hive on Spark的讨论和进度，可以看这里https://issues.apache.org/jira/browse/HIV
转载
2023-08-29 13:58:23
164阅读
目录一、Spark on Hive 和 Hive on Spark的区别1）Spark on Hive2）Hive on Spark（本章实现）二、Hive on Spark实现1）先下载hive源码包查看spark版本2）下载spark3）解压编译4）解压5）把spark jar包上传到HDFS6）打包spark jar包并上传到HDFS7）配置1、配置spark-defaults.conf2、
转载
2023-07-12 09:39:06
170阅读
序言sql 在 hive的使用具体还分为了2种解决方案：hive on spark 和 sparksql，这里主要使用的是sparksql。因为两者都是使用spark替换mapreduce作为计算引擎.实际区别是Hive On Spark 是Hive封装了Spark. SparkSql是Spark封装了Hive.搜索引擎分别是自己的设计逻辑cuiyaonan2000@163.com简介Hive O
转载
2023-08-12 10:04:48
192阅读
我们都知道，hive默认的计算引擎是mr,但是mr计算依赖于磁盘，导致计
Hive数据库Apache Hive是Hadoop上的SQL引擎，Spark SQL编译时可以包含Hive支持，也可以不包含。包含Hive支持的Spark SQL可以支持Hive表访问、UDF(用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的 一点是，如果要在Spark SQL中包含Hive的库，并不需要事先安装Hive。一般来说，最好还是在编译Spark SQL时引
转载
2023-07-12 22:07:23
187阅读
Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。
经过测评，presto的平均性能是hive的十倍。
presto的优点：数据源具有完全解耦，高性能，以及对ansi sql的支持特
转载
2023-09-20 06:22:49
77阅读
Spark SQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如Parquet、Hive、Json等）。Spark SQL的其中一个分支就是Spark on Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。本文就是来介绍如何通过Spark SQL来读取
转载
2024-01-23 21:29:39
67阅读
将使用过程中遇到的问题，汇总下来以免1个月之后就忘了。程序人生是短暂，新人总会将前人拍倒再沙滩上，只能默默转型，将技术慢慢的移交给年轻人，不从正面竞争，才能保证自己立足之地的稳固。hive与spark的匹配版本汇总，从这篇文章知道了hive和spark存在兼容性，如果想要知道hive引用hive的版本，看hive引用的pom就可以。我这里使用的hive版本是2.3.2，故选择spark2.0.21
转载
2023-12-11 23:11:42
103阅读
1.hive执行引擎Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。默认情况下，Hive on Spark 在YARN模式下支持Spar
转载
2023-06-19 09:18:24
323阅读
Spark SQL简介一、从Shark说起1、在这之前我们要先理解Hive的工作原理：Hive是一个基于Hadoop的数据仓库工具，提供了类似于关系数据库SQL的查询语言——HiveSQL，用户可以通过HiveSQL语句快速实现简单的MapReduce统计，Hive自身可以自动将HiveSQL语句快速转换成MapReduce任务进行运行。2、Shark提供了类似于Hive的功能，与Hive不同的是
转载
2023-07-12 13:13:49
144阅读
Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。
Hive的整体框架中有一个重要的模块是执行模块，这一部分是用Hadoop中MapReduce计算框架来实现，因而在处理速度上不是非常令人满意。由于
转载
2024-07-05 11:44:58
34阅读
