### SparkSql ORC RDD 源码分析与应用
在现代大数据处理中，Apache Spark 是一种广泛应用的引擎，而 ORC（Optimized Row Columnar）格式则是 Spark SQL 中常用的数据存储格式之一。理解 Spark SQL 中 ORC 和 RDD 的源码结合，对于优化数据处理性能具有重要意义。在本篇博文中，我们将通过背景描述、技术原理、架构解析、源码分析
# SparkSQL 读取 ORC 数据的完整指南
## 引言
Apache Spark 是一个强大的大数据处理引擎，而 Apache ORC（Optimized Row Columnar）是一种高效的数据存储格式，特别适合于大规模的数据分析。将 SparkSQL 和 ORC 数据结合，能够充分利用 Spark 的并行处理能力和 ORC 格式的压缩特性，从而实现高效的数据查询与分析。本文将介绍
原创
2024-10-25 03:38:15
300阅读
1、引言Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。对于Spark来说有3中Join的实现，每种Join对应着不同的应用场景：Broadcast Hash Join ：适合一张较小的表和一张大表进行joinShuffle Hash Join : 适合一张小表和一张大表进行join
转载
2024-06-20 21:22:00
17阅读
前言由于项目上主要用Hive查询Hudi，所以之前总结过一篇:Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求，并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表，于是进行学习总结一下。编程方式（DF+SQL）先看一下官方文档上Spark SQL增量查询的方式，地址：https://hudi.apache.org/cn/docs/quick-s
一.Spark SQL整体架构Spark SQL同时支持DataFrame编程API，以及SQL执行和JDBC/ODBC接口，整体结构如下： Spark SQL是Spark Core之上的一个模块，所有SQL操作最终都通过Catalyst翻译成类似普通Spark程序一样的代码，被Spark Core调度执行，其过程也有Job、Stage、Task的概念。二.Catalyst执行优化器Catalys
转载
2023-06-19 10:34:31
138阅读
SparkSQL 是如何将SQL语句转化为Spark任务的呢？ 详细过程如下图 主要流程大概可以分为以下几步：Sql语句经过Antlr4解析，生成Unresolved Logical Plan；Analyzer与Catalog进行绑定（Catlog存储元数据），生成Logical Plan；optimizer对Logical Plan优化，生成Optimized LogicalPlan；Spark
转载
2023-12-01 11:50:32
90阅读
<一>Spark论文阅读笔记楔子源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读Matei Zaharia做的Spark论文是一个非常不错的选择。在阅读该论文的基础之上，再结合Sp
转载
2024-01-05 14:42:07
68阅读
package comimport org.apache.spark.sql.{DataFrame, SparkSession}case class User(name: String, age: Int)object DF2RDD { def main(ar
原创
2022-07-04 17:00:30
96阅读
代码demo01是对象 demo02是基本类型package comimport org.apache.spark.SparkContextimport org.apach
原创
2022-07-04 17:01:52
44阅读
# SparkSQL RDD是如何执行的
在SparkSQL中，RDD（弹性分布式数据集）是一个基本的数据处理单元。当我们使用SparkSQL来处理数据时，RDD会被执行以完成我们的数据处理任务。但是，RDD是如何执行的呢？在本文中，我们将探讨SparkSQL RDD的执行过程，并通过一个实际的问题解决示例来帮助理解。
## SparkSQL RDD的执行过程
SparkSQL RDD的执行
原创
2024-04-23 03:17:03
27阅读
1、背景： 控制上游文件个数每天7000个，每个文件大小小于256M，50亿条+，orc格式。查看每个文件的stripe个数，500个左右，查询命令：hdfs fsck viewfs://hadoop/nn01/warehouse/…….db/……/partition_date=2017-11-11/part-06999 -files -blocks;stripe个数查看
转载
2023-12-25 19:32:19
153阅读
对比于之前所学的MySQL和hive以及Spark,SparkSQL存在不可替代的高性能,SparkSQL在很多公司也是进行使用的,所以就是针对于代码进行一个整理的过程,留下一个熟悉代码的过程.Spark内核是真的难以理解,也就写写SQL比较简单.针对于Spark环境的理解(资料的2.6节)构建之前需要在xml文件之中添加依赖.(注意:这里的依赖的顺序是不可以颠倒的,否则会出现报错的情况,具体原因
转载
2023-08-09 20:20:41
158阅读
DataSet转RDD调用rdd方法即可import org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionobject DS2RDD { def main(a
原创
2022-07-04 17:00:28
38阅读
## SparkSQL 读取ORC格式文件数组越界解决方案
Apache Spark是一个快速、通用、分布式的大数据处理框架，它提供了强大的数据处理能力和灵活的编程接口。SparkSQL作为Spark的一个模块，提供了一种用于处理结构化数据的高级数据处理接口。在SparkSQL中，我们可以通过使用SQL语法或DataFrame API来对结构化数据进行查询和分析。
ORC（Optimized
原创
2023-09-11 07:09:22
473阅读
背景本文基于 Spark 3.5.0 写本篇文章的目的是在于能够配合spark.sql.maxConcurrentOutputFileWriters参数来加速写parquet文件的速度，为此研究一下Spark写parquet的时候会占用内存的大小，便于配置spark.sql.maxConcurrentOutputFileWriters的值，从而保证任务的稳定性结论一个spark parquet w
转载
2024-09-24 17:52:21
90阅读
Spark SQL介绍和DataFrame概念以及其API的应用示范【以下内容都是自己在集群上学习截图展示】Spark SQL介绍：Spark SOL是用于结构化数据、半结构化数据处理的Spark高级模块，可用于从各种结构化数据源，例如JISON (半结构化)文件、CSV文件、ORC文件(ORC文件格式是一种Hive的文件存储格式，可以提高Hive表的读、写以及处理数据的性能)、Hive表、Par
转载
2024-04-08 22:54:19
102阅读
刚开始使用spark-sql，首先看了一部分的源码。然后开始着手程序的编写。在spark中使用jdbc：在 Spark-env.sh 文件中加入:export SPARK_CLASSPATH=任务提交时加入:spark-submit –master spark://master:7077 –jars ojdbc16.jar
一、
val rdd = sqlContext.read.format(“
转载
2023-10-06 16:40:06
429阅读
# SparkSQL 源码解析
Apache Spark 是一个广泛使用的大数据处理框架，其中 SparkSQL 作为其核心模块之一，提供了丰富的查询功能。通过解析 SparkSQL 的源码，我们不仅能够深入了解其实现机制，也能够掌握如何有效地在大数据环境中进行 SQL 查询。本文将深入探讨 SparkSQL 的基本架构及其实现原理，并附以相应的代码示例。
## SparkSQL 概述
Sp
原创
2024-10-14 06:15:42
31阅读
随机接入之RAR处理前言代码流程思维导图RAR（MSG2）的结构RAR MAC headerRAR MAC payloadRA-RNTILTE常见RNTI用途RA-RNTI的计算RAR的接收窗口代码流程分析cc_worker::work_dl_regular()cc_worker::decode_pdcch_dl()cc_worker::work_dl_regular() 前言前面一篇文章用了思维
转载
2024-07-03 10:23:16
175阅读
parseDriver类调用parser的类parser调用sqlbaseParser的singleStatement方法，利用anltr4里面的singleStatement来目前主流的sql解析器有 anltr和calcite，如果使用选择使用anltr，SQL进行查询，首先需要将SQL解析成spark中的抽象语法树（AST）。在spark中是借助开源的antlr4库来解析的。Spark SQ
转载
2023-08-17 09:24:17
33阅读
