今天来讲讲spark-sql的执行计划，有助于我们理解spark的运行原理。一、简述 日常我们使用spark时，主要是通过写sql语句嵌套在Python或者Shell脚本中提交到spark集群，了解spark-sql的运行方式有助于我们更好的使用spark。二、Spark-sql的运行流程 用户提交的Applicati
转载
2023-08-15 10:07:36
221阅读
对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。 但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？一 Spark-SQL 是什么1: Spark-SQL参见参数 \-d ：–define <key=value> 定义键值对 ：–database 定义使用的数据库-e
转载
2023-06-11 15:28:03
182阅读
目录创建SparkSession通过SparkSession创建SparkContextSparkContext读写文件的操作SparkSession文件读写spark catalog操作读取数据并生成DataFrame实例手动创建DataFrame使用sparkSession简化生成DataFrame生成dataFrame -- createDataFrame(rdd,StructType(S
转载
2023-08-15 13:45:47
61阅读
Python+大数据-Spark技术栈(四) SparkSQL重难点重点：DataFrame的创建以及操作难点：Spark和Hive整合扩展：数据处理分析部分SparkShuffleSparkShuffle
Spark1.2版本中hashShuffleManagerSpark1.2之后版本中sortShuffleManagerMR的shuffle回顾
存在性能瓶颈，参考MR的Shuff
前言 Spark是一种大规模、快速计算的集群平台，本公众号试图通过学习Spark官网的实战演练笔记提升笔者实操能力以及展现Spark的精彩之处。 本文的参考配置为：Deepin 15.11、Java 1.8.0_241、Hadoop 2.10.0、Spark 2.4.4、scala 2.11.12 &nb
转载
2023-08-04 16:16:50
167阅读
一、SparkSQL简介1、简介Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将
转载
2023-08-08 15:28:50
141阅读
一、认识Spark sql1、什么是Sparksql?spark sql是spark的一个模块，主要用于进行结构化数据的处理，它提供的最核心抽象就是DataFrame。2、SparkSQL的作用？提供一个编程抽象（DataFrame），并且作为分布式SQL查询引擎DataFrame：它可以根据很多源进行构建，包括：结构化的数据文件、hive中的表，外部的关系型数据库、以及RDD3、运行原理将Spa
转载
2023-07-18 22:29:52
98阅读
1、get_json_object 返回json键值 select get_json_object('{"a":"dd"}','$.a');ddselect get_json_object('{"b":"c"}','$.a');//json 键 “b” ≠ a 这里没有返回值➜ select get ...
转载
2021-07-28 11:29:00
299阅读
2评论
# Spark SQL Checkpoint
在大数据处理中，Spark是一个非常流行的分布式计算框架。它提供了许多强大的功能，包括Spark SQL，它允许我们在处理大型数据集时使用SQL查询。
在Spark SQL中，我们可以使用checkpoint将中间结果写入到可靠的存储系统中。这对于长时间运行的任务非常有用，因为它可以在发生故障时恢复中间结果，而不必从头开始重新运行任务。
## 什
原创
2023-08-01 01:39:00
208阅读
# Spark SQL Principal
## Introduction
Spark SQL is a module in Apache Spark that provides a programming interface for working with structured and semi-structured data. It allows users to query data u
原创
2023-09-13 16:47:56
54阅读
Spark-SQL解析总体分为以下几个步骤：解析（Parser）、绑定（Analysis）、优化（Optimization）、执行（Physical）、生成RDD（RDDs）
原创
2021-07-29 16:50:40
780阅读
spark-SQL1， 介绍sparkSQL是spark上高级模块，sparkSQL是一个SQL解析引擎，将SQL解析成特殊的RDD（DataFrame）,然后再Spark集群中运行。sparkSQL是用来处理结构化数据的（先将非结构化的数据转换成结构化数据）sparkSQL支持两种编程API1，SQL方式2，DataFrame的方式（DSL）sparkSQL兼容hive（元数据库、SQL语法、U
转载
2023-08-29 10:02:58
243阅读
SparkSQL 创建和使用方式一1.创建SparkSession2.读取数据为DataSet3.转成DataFrame并指定列名称4.保存成文件5.创建临时表使用SQL查询6.使用API的方式查询7.SQL方式实现分组求TOPN8.API方式实现分组求TOPN方式二1.创建saprkSession2.读取文件内容3.定义schema信息4.创建DataFrame5.创建临时表6.查询数据 方式
转载
2023-05-29 10:12:23
294阅读
第1章 Spark SQL概述什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有
转载
2023-10-13 17:20:41
56阅读
一、Spark SQL概念 它主要用于结构化数据处理和对Spark数据执行类SQL的查询。通过Spark SQL，可以针对不同格式的数据执行ETL操作（如JSON，Parquet，数据库）然后完成特定的查询操作。一般来说，Spark每支持一种新的应用开发，都会引入一个新的Context及相应的RDD，对于SQL这一特性来说，引入的就是SQLContext和SchemaRDD。注意：在Spark1.
转载
2023-05-24 16:37:36
136阅读
2、Spark SQL2.1、Spark SQL概述2.1.1、什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。2.1.2、为什么要学习Spark SQL我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapRedu
转载
2023-11-04 22:31:05
84阅读
目录第五章 SparkSQL1 SparkSQL介绍2 DataFrame的构建方式2.1 通过RDD创建DataFrame2.2 内部初始化数据得到DataFrame2.3 读取外部文件3 DataFrame的相关API3.1 SQL相关的API3.2 DSL相关的API3.3 清洗相关的API4 Shuffle分区设置5 Spark SQL如何进行数据写出操作WordCount案例6 Spa
转载
2024-07-01 05:33:38
46阅读
在日常的工作中，MySQL和SQLServer是经常使用到的两种数据库，直接连接使用的话是很简单的，如果说需要基于pyspark做连接工具，进行相应的数据查询操作的话就会复杂一点，今天简单的基于pyspark模块实现了连接SQLServer数据库，执行给定的查询语句，返回查询结果数据。 pyspark顾名
转载
2023-08-06 00:47:01
71阅读
Spark SQLSpark SQL 核心概念什么是 Spark SQLSpark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢
转载
2023-08-08 02:38:48
236阅读
依亲身经历而言，面试官的确有可能会问你JOIN有哪些分类，这时候一定不要慌，让我们一起来看看该怎么回答。JOIN的基本要素join条件(ON)、过滤条件(where)、JOIN方式(join/left join/full join等）是构成JOIN的三大基本要素JOIN的基本实现流程Spark将参与Join的两张表抽象为流式遍历表(streamIter)和查找表(buildIter)，通常stre
转载
2023-06-08 19:45:36
120阅读
