一、Hive安装（以Hive2.1.1为例,安装在/usr/local/apache-hive-2.1.1-bin目录下)1.官方下载预安装hive版本安装包apache-hive-2.1.1-bin.tar.gz2.解压安装包到安装目录,具体指令:tar –zxvf apache-hive-2.1.1-bin.tar.gz –C /usr/local/apache-hive-2.1.1-bin3
转载
2023-08-29 16:47:57
30阅读
# 在Hive上搭建Spark环境
在大数据处理领域，Spark作为一种快速、通用、易于使用的大数据处理引擎，越来越受到企业和开发者的青睐。而Hive则是一种基于Hadoop的数据仓库工具，可用于查询和分析大规模数据集。将Spark与Hive结合起来使用，可以充分发挥两者各自的优势，提高数据处理效率和性能。
本文将介绍如何在Hive上搭建Spark环境，并提供相关代码示例。
## 1. 准备
原创
2024-04-12 06:09:53
273阅读
（集群）搭建Hadoop+Hbase+hive+Spark（详解版）本教程是已经搭建好Hadoop集群Hadoop+Hbase集群：
https://blog.csdn.net/qq_46138492/article/details/128590916
Hadoop+Hbase+Hive集群：
https://blog.csdn.net/qq_46138492/article/details/1
转载
2024-01-02 20:37:20
105阅读
0. 引言hadoop 集群，初学者顺利将它搭起来，肯定要经过很多的坑。经过一个星期的折腾，我总算将集群正常跑起来了，所以，想将集群搭建的过程整理记录，分享出来，让大家作一个参考。由于搭建过程比较漫长，所以，这篇文章应该也会很长，希望大家能耐心看完。1. 集群环境和版本说明3台CentOS 7.4 的服务器，4CPU，8G内存；
jdk 1.8
hadoop 2.7.7
spark 2.3.0
转载
2024-05-01 17:37:08
341阅读
Ambari-2.7.3环境搭建工作环境：CentOS7 工作时间：2019/2/26-2019/3/2 安装路径：/opt/ambari/ Ambari简介：The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing
转载
2024-04-15 14:43:58
76阅读
fastDFS安装与部署前言1、服务器环境CentOS 7 2、配置需要的tar包 链接：https://pan.baidu.com/s/1H9H8uDdS63xZe8jq4ATiFA?pwd=o66f 提取码：o66f一、准备工作 1、安装gcc（编译时需要）yum install -y gcc gcc-c++ 2，安装libevent(运行时需要)yum -y install libeve
转载
2024-01-27 22:35:04
97阅读
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。1.1.SparkSQL出现的原因 hive是shark的前身，shark是sparkSQL的前身，sparkSQL产生的根本原因是其完全脱离了hive的限制，hive是hive SQL转换成 MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序复杂性。同时也由于Map
转载
2023-07-18 11:55:42
206阅读
此前，我已经搭建了 hive on spark, 不 准确说 是 spark on hive, 我可以在spark 中愉快得玩耍 hive,这也符合我当时得需求：hive on spark集群环境搭建然而，通过hive客户端连接，hive 使用spark 引擎时，却报了 我无法解决得错误：hive on spark异常Failed to create Spark client for Spark
转载
2024-02-20 13:58:40
151阅读
一．Hive on Spark的定义 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及
转载
2023-08-04 23:24:57
328阅读
杨赟快跑 简书作者 2018-09-24 10:24 打开App 杨赟快跑 2018-09-24 10:24 打开App 大数据门槛较高，仅仅环境的搭建可能就要耗费我们大量的精力，本文总结了作者是如何搭建大数据环境的（单机版和集群版），希望能帮助学弟学妹们更快地走上大数据学习之路。 0. 准备
转载
2018-11-29 11:20:00
307阅读
转载
2024-07-22 17:34:05
222阅读
本文探讨了使用 Docker 搭建 Hadoop + Hive + Spark 集群的方法，项目地址在此。在阅读本文前，建议先对 Docker 以及 Docker Compose 有基本的了解。准备工作本项目基于 Docker 和 Docker Compose，搭建的集群包含以下部分：HadoopHiveSpark本项目参考了 Big Data Europe 的一些工作
原创
2021-12-07 16:23:30
10000+阅读
先说明一下，这里说的从Hive 1.1版本开始，Hive on Spark已经成为Hive代码的一部分了，并且在spark分支上面，可以看这里https://github.com/apache/hive/tree/spark，并会定期的移到master分支上面去。关于Hive on Spark的讨论和进度，可以看这里https://issues.apache.org/jira/browse/HIV
转载
2023-08-29 13:58:23
164阅读
目录一、Spark on Hive 和 Hive on Spark的区别1）Spark on Hive2）Hive on Spark（本章实现）二、Hive on Spark实现1）先下载hive源码包查看spark版本2）下载spark3）解压编译4）解压5）把spark jar包上传到HDFS6）打包spark jar包并上传到HDFS7）配置1、配置spark-defaults.conf2、
转载
2023-07-12 09:39:06
170阅读
序言sql 在 hive的使用具体还分为了2种解决方案：hive on spark 和 sparksql，这里主要使用的是sparksql。因为两者都是使用spark替换mapreduce作为计算引擎.实际区别是Hive On Spark 是Hive封装了Spark. SparkSql是Spark封装了Hive.搜索引擎分别是自己的设计逻辑cuiyaonan2000@163.com简介Hive O
转载
2023-08-12 10:04:48
192阅读
Hive数据库Apache Hive是Hadoop上的SQL引擎，Spark SQL编译时可以包含Hive支持，也可以不包含。包含Hive支持的Spark SQL可以支持Hive表访问、UDF(用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的 一点是，如果要在Spark SQL中包含Hive的库，并不需要事先安装Hive。一般来说，最好还是在编译Spark SQL时引
转载
2023-07-12 22:07:23
187阅读
希望文章能帮助更多的人在搭建集群时，节省更多的时间，将时间花在更有意思的地方，帮助大家能尽早开始体验hadoop的各种功能。
原创
精选
2018-09-11 17:49:27
10000+阅读
点赞
一、Spark开发环境准备工作由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境 二、了解Spark的部署模式（一）Standalone模式Standalone模式被称为集群单机模式。该模式下，
简介之前有写过hive on spark的一个文档，hive版本为2.0，spark版本为1.5。spark升级到2.0后，性能有所提升，程序文件的编排也和之前不一样，这里再更新一个最新的部署方式。 spark2.0引入了spark session的概念，创建一个spark任务和之前也不一样，之前版本的hive并不能兼容spark2.0，所以推荐使用hive2.3以后的版本。安装步骤可参考官网h
转载
2023-08-29 13:55:18
118阅读
hive on Spark一. 配置1. hive 回顾1.1 hive简介1.2 yum 设置 & 命令（Centos7）1.3 hive 安装1.5 注意问题1.6 hive测试1.7 spark配置1.8 读取hive数据二. hive三种模式1、内嵌Derby方式2.Local方式3.Remote方式 (远程模式)三. spark sql 远程连接（thriftserver --
转载
2023-12-04 17:46:04
125阅读
