目录加载依赖spark sql简单入门Spark sql简单应用应用配置读取文件读取文本文件并展示数据show()将数据完全显示读取json文件读取jdbc文件读取压缩格式的文件将数据以压缩格式存储parquet或者orc格式存储读取数据注册成视图并写SQL直接写sql类sql的模式写出文件到别的路径RDD和DF的相互转换RDD转换成DFDF转换成RDDDF中函数的使用wherefilterse
转载
2023-12-01 10:11:20
55阅读
spark sql 性能技术简介:
1,内存列存储(in-memory columnar storage):Spark sql 的数据,不是使用 java 对象的方式来进行存储,而是使用了面向列的方式进行存储。每一列作为一个数据存储的单位，从而大大的优化了内存的使用效率，减少了对内存的消耗,也就避免了gc的大量数据的性能消耗
2,字节码生成技术(byte-core generati
转载
2024-04-25 14:53:33
45阅读
一. spark-sql
1.in 不支持子查询 eg. select * from src where key in(select key from test);
支持查询个数 eg. select * from src where key in(1,2,3,4,5);
in 40000个 耗时25.766秒
in 80000个 耗时78.827秒
2.union all/union
不支持顶层
转载
2023-09-15 16:03:13
895阅读
前言Apache Spark在6月份分布了3.0.0版本，增加了许多性能优化方面的新特性。作为大数据分析的重要引擎，在SQL查询优化方面的新特性值得期待和使用。Spark在SQL查询方面的性能优化主要分为四个方向七个方面：开发交互方向新的Explain格式所有join支持hints动态优化自适应查询执行动态分区裁剪Catalyst提升增强嵌套列的裁剪和下推增强聚合的代码生成基础设施更新支持新的Sc
转载
2023-08-08 10:50:28
190阅读
文章目录第1章 Spark SQL概述1.1 什么是Spark SQL1.2 Spark SQL的特点1.2.1 易整合1.2.2 统一的数据访问方式1.2.3 兼容Hive1.2.4 标准的数据连接1.3 什么是DataFrame1.4 什么是DataSet第2章 Spark SQL编程2.1 SparkSession新的起始点2.2 DataFrame2.2.1 创建DataFrame2.2
转载
2023-09-18 21:50:25
125阅读
1、概念 Spark SQL是一个用来处理结构化数据的Spark组件。 优点： ①SparkSQL是一个SQL解析引擎，将SQL解析成特殊的RDD（DataFrame），然后在Spark集群中运行 ②SparkSQL是用来处理结构化数据的（先将非结构化的数据转换成结构化数据） ③SparkSQL支持两种编程API 1.SQL方式
转载
2023-05-29 10:12:48
239阅读
目录一、概述二、Spark-SQL脚本 正文
回到顶部一、概述SparkSQL 的元数据的状态有两种：1、in_memory,用完了元数据也就丢了2、hive , 通过hive去保存的，也就是说，hive的元数据存在哪儿，它的元数据也就存在哪儿。 换句话说，SparkSQL的数据仓库在建立在Hive之上实现的。我们要用SparkSQL去构建数据仓库的时候，必须依赖于Hive
转载
2023-05-30 11:16:59
210阅读
Spark SQL学习笔记Spark SQL学习笔记设计到很多代码操作，所以就放在github, https://github.com/yangtong123/RoadOfStudySpark/blob/master/src/com/spark/sql/Readme.md其中包括了对Spark2.0的新特性的介绍，包括SparkSession, DataSet等
转载
2023-06-05 10:45:47
170阅读
在很久很久以前，小编在1990年代用PC电脑的时候，就知道使用Alt+数字键可以输入特殊字符，数字键与字符的对应关系就是这个字符的ASC码，如下图中的对应表： 更多的特殊字符在扩展ASCII码表中： 因为一些特殊字符没法直接在键盘中输入，所以就有了这种按住Alt键、同时从锁定的数字小键盘中输入对应的ASC码数字来输入特殊字符的办法，例如alt+128就是欧元符号“€”，还有一些中文特殊符合，例
转载
2024-05-06 16:23:17
95阅读
概述 SparkSql将RDD封装成一个DataFrame对象，这个对象类似于关系型数据库中的表。 创建DataFrame对象DataFrame就相当于数据库的一张表。它是个只读的表，不能在运算过程再往里加元素。 RDD.toDF("列名")
scala> val rdd = sc.parallelize(List(1,2,3,4,5,6))
rdd: org.apache.sp
转载
2023-08-29 17:06:09
91阅读
揭秘Spark SQL和DataFrame的本质1、Spark SQL与DataFrame 2、DataFrame与RDD 3、企业级最佳实践 一、SparkSQL与DataFrame 1、SparkSQL之所以是除了SparkCore以外最大的和最受关注的组件，原因是 a)处理一切存储介质和各种格式的数据（同时可以方便的扩展Spake SQL的功能来支持更多类型的数据，例如Kudu）
转载
2024-02-25 10:51:55
87阅读
Spark SQL实现原理-逻辑计划优化规则：ColumnPruning（列裁剪）规则该逻辑计划优化规则，尝试从逻辑计划中去掉不需要的列，从而减少读取数据的量。列裁剪效果列裁剪规则会在多种情况下生效，下面通过几个例子来理解该优化规则的行为：排序并进行列裁剪当有groupBy等聚合操作时，会把不需要的列在读取数据时去掉，以减少数据的读取量。case class Person(id: Long, na
转载
2023-09-25 04:50:48
73阅读
文章目录前言一、SparkSession1、SparkSession介绍2、SparkSession构建3、sql与dsl实现词频统计4、spark开发形式发展二、DataFrame1、dataframe概述2、dataframe编程3、dataframe函数4、Catalyst 优化器5、spark读写外部数据源1、从本地文件系统加载JSON格式数据，保存为Parquet格式：2、加载文本数据
转载
2023-09-04 12:08:40
260阅读
介绍用户一方面需要关系型操作，另一方面需要过程式的操作，shark只能进行关系型操作。Spark SQL可以将两者结合起来。Spark SQL由两个重要组成部分 DataFrame API 将关系型的处理与过程型处理结合起来，可以对外部数据源和Spark内建的分布式集合进行关系型操作压缩的列式存储，而不是Java/Scala对象Catalyst 提供了一整套性能分析、计划、运行时代码生成等的框架非
转载
2024-06-04 08:13:31
160阅读
Spark SQL是spark套件中一个模板，它将数据的计算任务通过SQL的形式转换成了RDD的计算，类似于Hive通过SQL的形式将数据的计算任务转换成了MapReduce。Spark SQL的特点： 1、和Spark Core的无缝集成，可以在写整个RDD应用的时候，配置Spark SQL来完成逻辑实现。 2、统一的数据访问方式，Spark SQL提供标准化的SQL查询。 3、Hive的继承，
转载
2023-09-19 06:37:19
113阅读
Spark SQL是构建在Spark RDD之上一款ETL（Extract Transformation Load）工具（类似Hive-1.x-构建在MapReduce之上）。同Spark RDD 不同地方在于Spark SQL的API可以给Spark计算引擎提供更多的信息（计算数据结构、转换算子），Spark计算引擎可以根据SparkSQL提供的信息优化底层计算任务。目前为止Spark SQL提
转载
2024-06-07 20:30:53
76阅读
文章目录第1章 Spark SQL概述1.1 什么是Spark SQL1.2 Spark SQL的特点1.2.1 易整合1.2.2 统一的数据访问方式1.2.3 兼容Hive1.2.4 标准的数据连接1.3 什么是DataFrame1.4 什么是DataSet第2章 Spark SQL编程2.1 SparkSession新的起始点2.2 DataFrame2.2.1 创建DataFrame2.2
转载
2023-09-18 21:50:24
165阅读
Spark sql实现自定义函数 文章目录一、为什么要自定义function？二、实现自定义的函数三、测试效果总结 一、为什么要自定义function？有小伙伴可能会疑问：Spark Sql提供了编写UDF和UDAF的接口扩展，为什么还有开发自定义函数呢？虽然Spark SQL 提供了UDF和UDAF，但是当我们想要实现 原生函数一样的功能比如:语义参数 ，可变参数等 功能时候，UDF和UDAF就
转载
2023-06-19 10:29:50
277阅读
Catalyst Optimizer是SparkSQL的核心组件(查询优化器)，它负责将SQL语句转换成物理执行计划，Catalyst的优劣决定了SQL执行的性能。查询优化器是一个SQL引擎的核心，开源常用的有Apache Calcite(很多开源组件都通过引入Calcite来实现查询优化，如Hive/Phoenix/Drill等),另外一个是orca(HAWQ/GreenPlum中使用)。关系代
转载
2023-11-07 12:40:32
97阅读
Spark SQL and DataFrame引言Spark SQL是Spark中的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象，就是DataFrame。同时Spark SQL还可以作为分布式的SQL查询引擎。Spark SQL最重要的功能之一，就是从Hive中查询数据。 DataFrame，可以理解为是，以列的形式组织的，分布式的数据集合。它其实和关系型数据库中的表非常类似，
转载
2023-12-07 09:24:19
37阅读
