主流大数据SQL引擎技术博弈，谁为王，
近日，AtScale公布了第四季度主流大数据SQL引擎的测试结果，主要针对Spark、Impala、Hive/Tez以及Presto。
测试结果证实了我们早已实践出的一些事情：Impala是中等大小数据库查询的最佳选择，并且已经积累了不少用户，Presto在这方面也做得不错。Hive和Spark更适用于长时间分析查询。 AtScale产品管理方
转载
2023-07-12 21:38:12
153阅读
Spark 从Hive中读取数据2018-7-25作者: 张子阳分类: 大数据处理在默认情况下，Hive使用MapReduce来对数据进行操作和运算，即将HQL语句翻译成MapReduce作业执行。而MapReduce的执行速度是比较慢的，一种改进方案就是使用Spark来进行数据的查找和运算。Hive和Spark的结合使用有两种方式，一种称为Hive on Spark：即将Hive底层的运算引擎由
转载
2023-09-25 12:42:05
69阅读
使用spark引擎查询hive有以下几种方式：1>使用spark-sql(spark sql cli)2>使用spark-thrift提交查询sql3>使用hive on spark(即hive本身设置执行引擎为spark)针对第一种情况：1>ambari 已经支持，不需要特殊配置；2>cdh不支持spark sql cli,原因是cdh自带的spark,spark-
转载
2023-07-09 07:22:09
222阅读
此前，我已经搭建了 hive on spark, 不 准确说 是 spark on hive, 我可以在spark 中愉快得玩耍 hive,这也符合我当时得需求：hive on spark集群环境搭建然而，通过hive客户端连接，hive 使用spark 引擎时，却报了 我无法解决得错误：hive on spark异常Failed to create Spark client for Spark
转载
2024-02-20 13:58:40
151阅读
一．Hive on Spark的定义 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及
转载
2023-08-04 23:24:57
328阅读
Spark1.4发布，支持了窗口分析函数(window functions)。在离线平台中，90%以上的离线分析任务都是使用Hive实现，其中必然会使用很多窗口分析函数，如果SparkSQL支持窗口分析函数，那么对于后面Hive向SparkSQL中的迁移的工作量会大大降低，使用方式如下： 1、初始化
转载
2019-04-23 20:40:00
206阅读
2评论
# Hive on Spark 中的最大值计算
Hive 是一个用于大数据处理的工具，通常与 Hadoop 的生态系统一起使用。随着数据量的不断增加，使用传统的 MapReduce 任务处理数据的效率逐渐显现出不足。因此，Hive 引入了与 Apache Spark 的集成，提升了查询性能和执行效率。本文将探讨如何在 Hive on Spark 中使用 `GROUP BY` 和 `MAX` 函数
# 使用Spark on Hive自定义函数
在使用Spark on Hive进行数据处理时，经常会遇到需要自定义函数来完成特定的数据处理需求。自定义函数可以让我们在Hive中使用自定义的逻辑来处理数据，从而更灵活地满足我们的需求。本文将介绍如何在Spark on Hive中创建和使用自定义函数，并提供一个简单的示例来演示这一过程。
## 创建自定义函数
要在Spark on Hive中创建
原创
2024-07-14 06:18:29
74阅读
# 使用Hive调用Spark函数解决数据分析问题
在实际的数据分析工作中，我们经常会遇到需要使用Hive进行数据查询和处理，同时又需要利用Spark的强大计算能力进行复杂的数据处理和分析的情况。本文将介绍如何在Hive中调用Spark函数来解决一个具体的数据分析问题。
## 问题描述
假设我们有一个包含用户信息和消费金额的Hive表，我们想要计算每个用户的平均消费金额。由于数据量比较大，我
原创
2024-03-16 04:40:32
23阅读
作为数据工程师，我日常用的主力语言是R，HiveQL，Java与Scala。R是非常适合做数据清洗的脚本语言，并且有非常好用的服务端IDE——RStudio Server；而用户日志主要储存在hive中，因此用HiveQL写job也是日常工作之一；当然R的执行效率确实不靠谱，因此还需要Java（Elasticsearch，Hadoop的原生语言）与Scala（Spark的原生语言）的帮助。 R和p
01简介Spark目前支持UDF，UDTF，UDAF三种类型的自定义函数。UDF使用场景：输入一行，返回一个结果，一对一，比如定义一个函数，功能是输入一个IP地址，返回一个对应的省份。UDTF使用场景: 输入一行，返回多行(hive),一对多, 而sparkSQL中没有UDTF， spark中用flatMap即可实现该功能。UDAF: 输入多行,返回一行, aggregate(主要用于聚合功能，比
转载
2023-11-24 10:44:24
101阅读
序言sql 在 hive的使用具体还分为了2种解决方案：hive on spark 和 sparksql，这里主要使用的是sparksql。因为两者都是使用spark替换mapreduce作为计算引擎.实际区别是Hive On Spark 是Hive封装了Spark. SparkSql是Spark封装了Hive.搜索引擎分别是自己的设计逻辑cuiyaonan2000@163.com简介Hive O
转载
2023-08-12 10:04:48
192阅读
一、概述-- 1.在hive中有三种自定义函数：
1. UDF : 一进一出
2. UDTF: 一进多出
3. UDAF: 多进一出
-- 2.实现步骤：
a、进入函数的是什么参数
b、希望得到什么结果
c、考虑通用性二、UDTF函数2.1 UDTF解析-- 说明:
A custom UDTF can be created by extending
转载
2023-07-12 10:10:05
86阅读
先说明一下，这里说的从Hive 1.1版本开始，Hive on Spark已经成为Hive代码的一部分了，并且在spark分支上面，可以看这里https://github.com/apache/hive/tree/spark，并会定期的移到master分支上面去。关于Hive on Spark的讨论和进度，可以看这里https://issues.apache.org/jira/browse/HIV
转载
2023-08-29 13:58:23
164阅读
目录一、Spark on Hive 和 Hive on Spark的区别1）Spark on Hive2）Hive on Spark（本章实现）二、Hive on Spark实现1）先下载hive源码包查看spark版本2）下载spark3）解压编译4）解压5）把spark jar包上传到HDFS6）打包spark jar包并上传到HDFS7）配置1、配置spark-defaults.conf2、
转载
2023-07-12 09:39:06
170阅读
Hive数据库Apache Hive是Hadoop上的SQL引擎，Spark SQL编译时可以包含Hive支持，也可以不包含。包含Hive支持的Spark SQL可以支持Hive表访问、UDF(用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的 一点是，如果要在Spark SQL中包含Hive的库，并不需要事先安装Hive。一般来说，最好还是在编译Spark SQL时引
转载
2023-07-12 22:07:23
187阅读
来源：明哥的IT笔记 大家好，今天看到明哥分享一个某业务系统的线上 hive on spark 作业在高并发下频现作业失败问题的原因分析和解决方法，希望对大家有所帮助。01 问题现象某业务系统中，HIVE SQL 以 hive on spark 模式运行在 yarn上指定的资源队列下，在业务高峰期发现部分 SQL 会报错，但重试有时又能够成功。作业具体报错信息，和示例截图如下
转载
2024-02-03 08:47:42
34阅读
一、SparkSQL结合hive1.首先通过官网查看与hive匹配的版本 这里可以看到是1.2.12.与hive结合 spark可以通过读取hive的元数据来兼容hive，读取hive的表数据，然后在spark引擎中进行sql统计分析，从而，通过sparksql与hive结合实现数据分析将成为一种最佳实践。3.hive安装与配置 略，之前已经安装4.spark配置
转载
2023-05-22 16:38:35
391阅读
问题描述集群默认计算引擎是 hive ，这两天自己试了一下 hive on spark 发现一个奇怪现象，首先 hive 引擎中文做简单查询或者聚合查询都正常，使用 spark 引擎简单查一个表的中文字段也没事，但是只要对 中文字段进行 group by 操作就乱码了问题解决在开启 spark session 后 加两个设置就好了set spark.executor.extraJavaOption
转载
2023-06-17 20:07:35
224阅读
公司的系统想要转型，由我和项目经理两个人来完成从传统的数据库向HIVE+HADOOP_+SPARK，用以满足日益膨胀的大量数据。 对于将数据存储在Hive，进行了以下的优化: 1,Hive的引擎目前为止有三种，分别为MR,TEZ,SPRAK.由于公司用的是Hive1.2.1,spark是 老版本1.6.2,我查了hive on spark 的网页后发现这个hive version 不支持我目前
转载
2023-12-11 23:06:29
60阅读
