1.SqlContext SQLContext依赖SparkContext 功能：支持SparkSQL操作(不依赖Hive) SQLContext在一个JVM中默认允许存在多个 只有SQLContext支持序列化与反序列化。 2.HiveContext 继承了SQLContext HiveConte
转载
2017-04-25 15:43:00
75阅读
2评论
折腾了一天，终于解决了上节中result3的错误。至于为什么会产生这个错误，这里，先卖个关子，先看看这个问题是如何发现的：首先，找到了这篇文章：http://apache-spark-user-list.1001560.n3.nabble.com/SparkSQL-select-syntax-td16299.html 里面有这么一段：The issue is that you're u
原创
精选
2015-04-17 20:14:48
5716阅读
点赞
本文简单介绍两种往SQLContext、HiveContext中注册自定义函数方法。 下边以sqlContext为例，在spark-shell下操作示例：
转载
2017-12-25 18:38:00
77阅读
2评论
一、 以编程方式执行Spark SQL查询1． 编写Spark SQL程序实现RDD转换成DataFrame前面我们学习了如何在Spark Shell中使用SQL完成查询，现在我们通过IDEA编写Spark SQL查询程序。Spark官网提供了两种方法来实现从RDD转换得到DataFrame，第一种方法是利用反射机制，推导包含某种类型的RDD，通过反射将其转换为指定类型的DataFrame，适用于
原创
2021-06-02 18:12:14
1652阅读
spark 读取hive中的数据scala> import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.hive.HiveContext
scala> val hiveContext = new HiveContext(sc)
//hive中的feigu数据库中表stud_info
scala>
转载
2023-08-29 13:57:06
31阅读
1、什么是HiveContextSpark SQL支持对Hive中存储的数据进行读写 操作Hive中的数据时，必须创建HiveContext（HiveContext也是已经过时的不推荐使用，嘤嘤嘤~还没学好就已经过时了）。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及HiveSQL语法编写SQL的功能。除了sql()方法，HiveContext还提供了
一、Hive下生成DataFrame对象SparkConf sparkConf = new SparkConf().setAppName("名称").setMaster("执行方式");
JavaSparkContext jsc = new JavaSparkContext(sparkConf);
HiveContext hc = new HiveContext(jsc);
#通过执行SQL生
转载
2023-07-10 21:11:12
239阅读
一.简介那么这个SQL语句必须使用HiveContext执行。二.代码实践【使用HiveContext】 package big.data.analyse.sparksql
import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.types.{IntegerType, StringType, StructField
转载
2023-05-23 18:13:12
60阅读
1 SparkSession新的起始点在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合，所以在SQLContext和HiveContext上可用的A...
原创
2022-11-11 10:44:13
133阅读
Hive数据源实战Spark SQL支持对Hive中存储的数据进行读写。操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。除了sql()方法，HiveContext还提供了hql()方法，从而用Hive语法来编译sql。 使用HiveCo
转载
2023-07-14 16:03:50
35阅读
Hive数据源实战Spark SQL支持对Hive中存储的数据进行读写。操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。除了sql()方法，HiveContext还提供了hql()方法，从而用Hive语法来编译sql。 使用HiveCo
SparkSession新的起点在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合，所以在SQLContext和HiveContext上可用的API在Spar
【大数据学习之路】SparkSQL学习阶段性总结（二）一、使用Hive数据源1、什么是HiveContextSpark SQL支持对Hive中存储的数据进行读写操作Hive中的数据时，必须创建HiveContext（HiveContext也是已经过时的不推荐使用，额。。。。。还没学好就已经过时了）。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及Hive
一、Hive数据源案例1、概述Spark SQL支持对Hive中存储的数据进行读写。操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，
以及用HiveQL语法编写SQL的功能。除了sql()方法，HiveContext还提供了hql()方法，从而用Hive语法来编译sql。
转载
2023-05-24 16:00:40
46阅读
1、SparkSession新的起始点在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。 SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合，所以在SQLContext和HiveContext上可用的API在
# Spark获取Hive分区文件的实现步骤
## 一、整体流程
下面是实现"spark获取hive分区文件"的步骤表格：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 创建SparkSession对象 |
| 步骤2 | 设置Hive Metastore的地址 |
| 步骤3 | 创建HiveContext对象 |
| 步骤4 | 使用HiveContext的sq
val df1 = hiveContext.sql( s""" |sele
原创
2022-07-19 19:38:42
58阅读
SparkSession 新的起始点在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合，所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。SparkSession内部封装了sparkContext，所以计
原创
2021-12-28 18:06:25
136阅读
Spark SQL初体验 入口-SparkSession●在spark2.0版本之前SQLContext是创建DataFrame和执行SQL的入口HiveContext通过hive sql语句操作hive表数据，兼容hive操作，hiveContext继承自SQLContext。 ●在spark2.0之后SparkSession 封装了SqlContext及HiveContex
