此前，我已经搭建了 hive on spark, 不 准确说 是 spark on hive, 我可以在spark 中愉快得玩耍 hive,这也符合我当时得需求：hive on spark集群环境搭建然而，通过hive客户端连接，hive 使用spark 引擎时，却报了 我无法解决得错误：hive on spark异常Failed to create Spark client for Spark
转载
2024-02-20 13:58:40
151阅读
Hive 计算的时候默认是一次处理一行。在处理下一行之前，这一行数据需要先经过所有计算。这种处理模式的 CPU 使用效率非常低。而且Hive 目前严重依赖比较慢的反序列化方式，数据会通过一层对象检查器，用来标识列类型、反序列化数据并在内部循环中确定适当的（计算）表达式。这些虚拟方法调用会进一步减慢了处理速度。（翻译自https://issues.apache.org/jira/browse/HIV
转载
2023-09-01 16:24:31
269阅读
什么是ACID，为什么要用它? ACID代表数据库事务的四个特性:原子性(手术完全成功或失败,它没有离开部分数据),一致性(一旦应用程序执行一个操作,操作的结果是可见的在每个后续操作),隔离(由一个用户一个不完整的操作不会引起意想不到的副作用为其他用户),和持久性(一个操作完成后它将被保留下来即使面对机器或系统故障)。长期以来，人们一直期望数据库系统将这些特性作为其事务功能的一部分。 在Hive
转载
2024-03-04 12:56:34
46阅读
如何关闭Hive on Spark Session
如果你是一名经验丰富的开发者，现在需要教会一名刚入行的小白如何关闭Hive on Spark Session，那么本文将为你提供详细的步骤和代码示例。
整体流程
下面是关闭Hive on Spark Session的整体流程：
| 步骤 | 描述 |
|-------|------|
| 步骤1 | 创建HiveContext对象 |
|
原创
2024-01-09 08:08:08
102阅读
Hive On Spark官方文档：https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started首先，之前凭借自己的错觉以为使用官网提供好的安装包之后就可以，后来各种实验各种问题。最后下决心进行自己编译源码进行安装。经过两天的摸索最终还是成功了！！功夫还是不负有心人的，以后要多多有耐心，细心做事。
转载
2023-11-10 22:07:20
27阅读
一．Hive on Spark的定义 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及
转载
2023-08-04 23:24:57
328阅读
先说明一下，这里说的从Hive 1.1版本开始，Hive on Spark已经成为Hive代码的一部分了，并且在spark分支上面，可以看这里https://github.com/apache/hive/tree/spark，并会定期的移到master分支上面去。关于Hive on Spark的讨论和进度，可以看这里https://issues.apache.org/jira/browse/HIV
转载
2023-08-29 13:58:23
164阅读
目录一、Spark on Hive 和 Hive on Spark的区别1）Spark on Hive2）Hive on Spark（本章实现）二、Hive on Spark实现1）先下载hive源码包查看spark版本2）下载spark3）解压编译4）解压5）把spark jar包上传到HDFS6）打包spark jar包并上传到HDFS7）配置1、配置spark-defaults.conf2、
转载
2023-07-12 09:39:06
170阅读
序言sql 在 hive的使用具体还分为了2种解决方案：hive on spark 和 sparksql，这里主要使用的是sparksql。因为两者都是使用spark替换mapreduce作为计算引擎.实际区别是Hive On Spark 是Hive封装了Spark. SparkSql是Spark封装了Hive.搜索引擎分别是自己的设计逻辑cuiyaonan2000@163.com简介Hive O
转载
2023-08-12 10:04:48
192阅读
我们都知道，hive默认的计算引擎是mr,但是mr计算依赖于磁盘，导致计
map阶段 1.hive.vectorized.execution.enabled 默认false. map方法逐行处理数据，开启之后hive构造一个批量输入的数组，一次处理1万条数据。(数据量不大，或计算不复杂是不是没必要开启？ MapReduce只支持map端向量化执行，TEZ和SPARK支持map和reduce端向量化执行。2.h
转载
2023-08-11 13:24:18
561阅读
由 Alan Gates创建, 最终由 Andrew Sherman修改于2018年8月7日一、Hive 3的警告 升级到Hive 3.0时，由之前版本创建的任何事务性表都需要在每个分区上运行Major(主要/深度)级紧缩操作。更确切地说，自上一次Major级紧缩操作之后，在其上执行任何Update/Delete/Merge语句的分区，都必须再进行一次Major级紧缩操作。就是说，在Hive升级
转载
2024-03-09 20:23:21
179阅读
在使用 Apache Spark 进行大数据处理时，遇到 "spark 关闭" 的问题可能会导致工作效率降低。解决这个问题的过程涉及多个方面，包括环境预检、部署架构、安装过程、依赖管理、故障排查和扩展部署。下面我将详细地记录下来这个过程。
## 环境预检
在进行环境预检时，我们需要确保系统满足 Spark 的要求。以下是系统要求، 硬件配置和依赖版本的对比。
### 系统要求
| 项目
Hive数据库Apache Hive是Hadoop上的SQL引擎，Spark SQL编译时可以包含Hive支持，也可以不包含。包含Hive支持的Spark SQL可以支持Hive表访问、UDF(用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的 一点是，如果要在Spark SQL中包含Hive的库，并不需要事先安装Hive。一般来说，最好还是在编译Spark SQL时引
转载
2023-07-12 22:07:23
187阅读
前面的文章，已经简单提到过怎么样关闭流程序。因为Spark Streaming流程序比较特殊，所以不能直接执行kill -9 这种暴力方式停掉，如果使用这种方式停程序，那么就有可能丢失数据或者重复消费数据。
为什么呢？因为流程序一旦起来基本上是一个7*24小时的状态，除非特殊情况，否则是不会停的，因为每时每刻都有可能在处理数据，如果要停，也一定要确认当前
转载
2023-08-08 17:37:19
279阅读
1 前言本文分析的是spark 1.3.1版本的源代码，因为1.3.1是比较经典的版本，其中的rpc是使用akka实现的，而1.6.x的版本的rpc的实现既有akka又有netty，2.0之后的版本就去掉akka只有netty了。现在使用较多的还是1.6.x，所以这里分析1.3.1版本。导入项目 解压项目包（spark-1.3.1.zip），Idea - import project，选择 co
转载
2024-06-06 11:59:37
37阅读
关闭Spark指的是在特定条件下停止Apache Spark集群的运行。无论是由于维护、更新还是检测故障，关闭Spark都需要小心操作，以防止数据丢失或未完成的任务。本文将围绕如何有效、专业地关闭Spark展开，从环境准备到实战应用，帮助读者掌握该过程。
## 环境准备
在关闭Spark之前，确保您的环境符合以下要求。以下是系统依赖和兼容性的信息：
| 软件 | 最小版本 |
Spark SQL简介一、从Shark说起1、在这之前我们要先理解Hive的工作原理：Hive是一个基于Hadoop的数据仓库工具，提供了类似于关系数据库SQL的查询语言——HiveSQL，用户可以通过HiveSQL语句快速实现简单的MapReduce统计，Hive自身可以自动将HiveSQL语句快速转换成MapReduce任务进行运行。2、Shark提供了类似于Hive的功能，与Hive不同的是
转载
2023-07-12 13:13:49
144阅读
Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。
经过测评，presto的平均性能是hive的十倍。
presto的优点：数据源具有完全解耦，高性能，以及对ansi sql的支持特
转载
2023-09-20 06:22:49
77阅读
Spark SQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如Parquet、Hive、Json等）。Spark SQL的其中一个分支就是Spark on Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。本文就是来介绍如何通过Spark SQL来读取
转载
2024-01-23 21:29:39
67阅读
