知识背景（1）hive 是目前大数据领域，事实上的sql 标准。其底层默认是基于MapReduce实现的，但是由于MapReduce速度不够快。因此近几年，陆续出来了新的Sql 查询引擎。包括Spark Sql ，hive on tez ,hive on spark. Spark Sql 和hive on spark 是不一样的。spark sql 是Spark 自己开发出来针对各种数据源，包括h
转载
2023-12-30 23:57:29
67阅读
Hive是目前大数据领域，事实上的SQL标准。其底层默认是基于MapReduce实现的，但是由于MapReduce速度实在比较慢，因此这两年，陆续出来了新的SQL查询引擎。包括Spark SQL，Hive On Tez，Hive On Spark等。Spark SQL与Hive On Spark是不一样的。Spark SQL是Spark自己研发出来的针对各种数据源，包括Hive、JSON、Parq
转载
2023-07-14 22:44:47
89阅读
文章目录一、Spark on Hive 和 Hive on Spark的区别1）Spark on Hive2）Hive on Spark（本章实现）二、Hive on Spark实现1）先下载hive源码包查看spark版本2）下载spark3）解压编译4）解压5）把spark jar包上传到HDFS6）打包spark jar包并上传到HDFS7）配置1、配置spark-defaults.con
转载
2023-12-29 23:47:49
397阅读
点赞
1评论
今天来讲讲spark-sql的执行计划，有助于我们理解spark的运行原理。一、简述 日常我们使用spark时，主要是通过写sql语句嵌套在Python或者Shell脚本中提交到spark集群，了解spark-sql的运行方式有助于我们更好的使用spark。二、Spark-sql的运行流程 用户提交的Applicati
转载
2023-08-15 10:07:36
221阅读
# Spark SQL 查询 Hive 表分区
## 简介
分布式计算框架 Apache Spark 提供了强大的 SQL 查询功能，可以方便地对 Hive 表进行查询和分析。Hive 是建立在 Hadoop 之上的数据仓库工具，可以处理大规模数据集。在 Spark 中，可以通过 Spark SQL 来直接查询 Hive 表分区数据，本文将介绍如何使用 Spark SQL 查询 Hive 表分
原创
2023-08-28 07:12:55
358阅读
一、认识Spark sql1、什么是Sparksql?spark sql是spark的一个模块，主要用于进行结构化数据的处理，它提供的最核心抽象就是DataFrame。2、SparkSQL的作用？提供一个编程抽象（DataFrame），并且作为分布式SQL查询引擎DataFrame：它可以根据很多源进行构建，包括：结构化的数据文件、hive中的表，外部的关系型数据库、以及RDD3、运行原理将Spa
转载
2023-07-18 22:29:52
98阅读
一、SparkSQL简介1、简介Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将
转载
2023-08-08 15:28:50
141阅读
1、安装hadoop集群参考：http://www.cnblogs.com/wcwen1990/p/6739151.html2、安装hive参考：http://www.cnblogs.com/wcwen1990/p/6757240.html3、安
原创
2021-08-07 10:31:55
1029阅读
文章目录 1 Hive2 Beeline3 Spark-SQL4 Spark-shell1 Hive[root@hqc-test-hdp1 ~]# su hdfs[hdfs@hqc-test-hdp1 r......1 Hive[root@hqc-test-hdp1 ~]# su hdfs
[hdfs@hqc-test-hdp1 root]$ cd
# 准备数据
[hdfs@hqc-test-hd
转载
2021-02-03 10:01:36
1132阅读
2评论
1、get_json_object 返回json键值 select get_json_object('{"a":"dd"}','$.a');ddselect get_json_object('{"b":"c"}','$.a');//json 键 “b” ≠ a 这里没有返回值➜ select get ...
转载
2021-07-28 11:29:00
299阅读
2评论
# Spark SQL Principal
## Introduction
Spark SQL is a module in Apache Spark that provides a programming interface for working with structured and semi-structured data. It allows users to query data u
原创
2023-09-13 16:47:56
54阅读
# Spark SQL Checkpoint
在大数据处理中，Spark是一个非常流行的分布式计算框架。它提供了许多强大的功能，包括Spark SQL，它允许我们在处理大型数据集时使用SQL查询。
在Spark SQL中，我们可以使用checkpoint将中间结果写入到可靠的存储系统中。这对于长时间运行的任务非常有用，因为它可以在发生故障时恢复中间结果，而不必从头开始重新运行任务。
## 什
原创
2023-08-01 01:39:00
208阅读
Spark-SQL解析总体分为以下几个步骤：解析（Parser）、绑定（Analysis）、优化（Optimization）、执行（Physical）、生成RDD（RDDs）
原创
2021-07-29 16:50:40
780阅读
spark-SQL1， 介绍sparkSQL是spark上高级模块，sparkSQL是一个SQL解析引擎，将SQL解析成特殊的RDD（DataFrame）,然后再Spark集群中运行。sparkSQL是用来处理结构化数据的（先将非结构化的数据转换成结构化数据）sparkSQL支持两种编程API1，SQL方式2，DataFrame的方式（DSL）sparkSQL兼容hive（元数据库、SQL语法、U
转载
2023-08-29 10:02:58
243阅读
SparkSQL 创建和使用方式一1.创建SparkSession2.读取数据为DataSet3.转成DataFrame并指定列名称4.保存成文件5.创建临时表使用SQL查询6.使用API的方式查询7.SQL方式实现分组求TOPN8.API方式实现分组求TOPN方式二1.创建saprkSession2.读取文件内容3.定义schema信息4.创建DataFrame5.创建临时表6.查询数据 方式
转载
2023-05-29 10:12:23
294阅读
一、Spark SQL概念 它主要用于结构化数据处理和对Spark数据执行类SQL的查询。通过Spark SQL，可以针对不同格式的数据执行ETL操作（如JSON，Parquet，数据库）然后完成特定的查询操作。一般来说，Spark每支持一种新的应用开发，都会引入一个新的Context及相应的RDD，对于SQL这一特性来说，引入的就是SQLContext和SchemaRDD。注意：在Spark1.
转载
2023-05-24 16:37:36
136阅读
目录第五章 SparkSQL1 SparkSQL介绍2 DataFrame的构建方式2.1 通过RDD创建DataFrame2.2 内部初始化数据得到DataFrame2.3 读取外部文件3 DataFrame的相关API3.1 SQL相关的API3.2 DSL相关的API3.3 清洗相关的API4 Shuffle分区设置5 Spark SQL如何进行数据写出操作WordCount案例6 Spa
转载
2024-07-01 05:33:38
46阅读
对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。 但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？一 Spark-SQL 是什么1: Spark-SQL参见参数 \-d ：–define <key=value> 定义键值对 ：–database 定义使用的数据库-e
转载
2023-06-11 15:28:03
182阅读
第1章 Spark SQL概述什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有
转载
2023-10-13 17:20:41
56阅读
2、Spark SQL2.1、Spark SQL概述2.1.1、什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。2.1.2、为什么要学习Spark SQL我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapRedu
转载
2023-11-04 22:31:05
84阅读
