Hive概述、内部表、外部表、分区表的操作一、Hive概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取、转化、加载（ETL Extract-Transform-Loa
转载
2023-07-14 12:36:35
66阅读
package com.immooc.sparkimport org.apache.spark.{SparkConf, rdd}imp
原创
2022-08-01 20:30:12
168阅读
Spark SQL与Hive on SparkSpark SQL在Hadoop发展过程中，为了给熟悉SQL，但又不理解MapReduce的技术人员提供快速上手的工具，Hive诞生，是运行在Hadoop上的SQL-on-Hadoop工具。基于Hive后续又有一款Shark诞生，运行在Spark引擎上,但是Shark受限于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等），制约了Spark
转载
2023-08-30 11:41:47
149阅读
# 使用Hive SQL与Spark引擎进行数据处理
在大数据处理领域，Hive是一个常用的数据仓库工具，可以用来查询和分析存储在Hadoop集群上的大规模数据。而Spark是一个快速、通用的集群计算引擎，支持数据流处理、机器学习等任务。当将Hive SQL与Spark引擎结合起来使用时，可以充分发挥两者的优势，实现更高效的数据处理。
## 为什么要使用Hive SQL与Spark引擎？
H
1.Hive执行过程概览无论Hive Cli还是HiveServer2，一个HQl语句都要经过Driver进行解析和执行，粗略如下图：2.Driver处理的流程HQL解析(生成AST语法树) => 语法分析(得到QueryBlock) => 生成逻辑执行计划(Operator) => 逻辑优化(Logical Optim
转载
2023-07-12 19:02:48
159阅读
简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。Spark特点Spark可以部署在YARN上Spark原生支持对HDFS文件系统的访问使用Sc
转载
2023-08-21 19:56:21
131阅读
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给
原创
精选
2023-03-20 12:24:35
1037阅读
前言： 都知道，小编前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀，但是也可以先忽略，重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS，而后再简单介绍使用Spark操作Hive。 Big Data Tools安装：1. 点击File, 选择Se
原创
2023-05-13 14:01:54
257阅读
Spark SQL简介一、从Shark说起1、在这之前我们要先理解Hive的工作原理：Hive是一个基于Hadoop的数据仓库工具，提供了类似于关系数据库SQL的查询语言——HiveSQL，用户可以通过HiveSQL语句快速实现简单的MapReduce统计，Hive自身可以自动将HiveSQL语句快速转换成MapReduce任务进行运行。2、Shark提供了类似于Hive的功能，与Hive不同的是
转载
2023-07-12 13:13:49
77阅读
SparkSQLSparkSQL简介SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率，Shark应运而生，但又因为Shark
转载
2023-07-12 19:02:23
118阅读
一、sparkContext与sparkSession区别任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数,sparkContext只能在driver机器上面启动;SparkSession： SparkSession实质上是SQLContext和HiveContext的组合，S
转载
2023-07-15 12:20:37
46阅读
一、SparkSQL 概述
1.1 SparkSQL是什么
Spark SQL是Spark用于结构化数据处理的Spark模块。1.2 Hive and SparkSQL 我们之前学习过hive，hive是一个基于had
转载
2023-08-26 20:48:09
82阅读
使用 Pulsar Spark Connector 读取 Pulsar 的数据，并将结果写回 Pulsar。Pulsar Spark Connector 使用方法。
原创
2021-07-26 14:15:18
317阅读
文章目录一、Hive 和 SparkSQL二、SparkSQL 的特点三、DataFrame 简介四、DataSet 简介 Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。一、Hive 和 SparkSQLSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。Hive是早期唯一运行在Had
转载
2023-07-12 19:03:11
91阅读
目录Hive on Spark与SparkSQLSpark 内存配置spark动态分配Hive Hive on Spark与SparkSQLHive是Hadoop中的标准SQL引擎，也是最古老的引擎之一。Hive on Spark为我们立即提供了Hive和Spark的所有巨大优势。它最初是作为数据仓库（DW）工具构建的，现在它具有轻松交换执行引擎的功能，因此更具吸引力。简而言之，使用Hive o
转载
2023-07-13 16:57:21
131阅读
使用 Pulsar Spark Connector 读取 Pulsar 的数据，并将结果写回 Pulsar。Pulsar Spark Connector 使用方法。
原创
2021-07-16 17:06:59
278阅读
**????️大纲提要：**你可以使用 Pulsar Spark Connector 读取 Pulsar 的数据，并将结果写回 Pulsar。本文介绍 Pulsar Spark Connector 的使用方法。????Pulsar Spark Connector 在 2019 年 7 月 9 日开源，源代码与用户指南参见这里。配置环境以下示例使用 Homebrew 包管理器在 macOS 下载和安装软件...
原创
2021-08-25 10:02:37
155阅读
简介之前有写过hive on spark的一个文档，hive版本为2.0，spark版本为1.5。spark升级到2.0后，性能有所提升，程序文件的编排也和之前不一样，这里再更新一个最新的部署方式。 spark2.0引入了spark session的概念，创建一个spark任务和之前也不一样，之前版本的hive并不能兼容spark2.0，所以推荐使用hive2.3以后的版本。安装步骤可参考官网h
转载
2023-08-29 13:55:18
92阅读
spark sql中有一个类： org.apache.spark.sql.internal.SharedState 它是用来做： 1、元数据地址管理（warehousePath）
2、查询结果缓存管理（cacheManager）
3、程序中的执行状态和metrics的监控（statusStore）
4、默认元数据库的目录管理（externalCatalog）
5、全局视图管理（主要是防止元数
spark-beeline的配置，及基本的使用方法
原创
2019-05-21 23:48:58
7787阅读
