接触Spark也有一段时间了，最开始一直都是上网看一些博客，自己搭建个虚拟机倒腾，都是一些零散的学习，回头想想还是有必要系统性的学习、理解一遍，本系列博客将会参照spark 官方文档上来一一讲解，但是也不会仅仅只是翻译（翻译也不全面），其中还会加上一些自己的理解、在项目中的一些所见所闻，希望自己能够慢慢成长起来，如果理解有误还请各
Spark读取Excel文件的需求愈发广泛，尤其在数据分析和机器学习领域，数据源的多样性使得处理Excel文件成为必要。Jupyter、DataFrame等技术需要快速访问这些文件，以保证在数据学习和分析过程中的高效性。本文将系统性地介绍如何利用Apache Spark读取Excel文件，包括相关技术原理、架构解析、源码分析、性能优化及扩展讨论。
在我们的分析中，可以使用四象限图来总结Spark
Spark 处理中文乱码问题（UTF-8编码）问题场景要用spark处理一大堆微信日志数据，日志存放在HDFS上，是xml格式，里面有大量的中文。用scala + java实现了xml的处理逻辑，其中有一步是要获取xml中的一个title字段，中文。不管怎么抓取，最终得到的中文都会变成一堆“？？？？？”，乱码了。从xml中获取非中文字段，没有任何问题。也就是说，代码的逻辑是没什么问题的。 
计划写一个新系列，分别使用Excel、Python、Hive、SparkSQL四种方式来实现简单的数据分析功能，例如GroupBy、透视表等功能。俗话说的好，工欲善其事，必先利其器，所以咱们先介绍一下环境的搭建！虽说Hive和Spark都是分布式的宠儿，但是咱们仅仅实现单机版！所有需要安装的工具列表如下：1、Excel2、Python3、JDK4、IDEA5、Mysql6、Scala7、Spark
转载
2024-05-31 07:51:37
552阅读
快速上手Spark 的交互式 shell( 用 Python 或Scala) 介 绍 它的 API 。当演示如何在 Java, Scala 和 Python 写独立的程序 时 ，看 编 程指南里完整的参考。依照 这 个指南，首先从 Spark 网站下 载 一个 Spark 发 行包。因 为 我 们 不会使用 HDFS ，你可以下 载 任何 Hadoop 版本的包。使用 Spark Shell。Sp
转载
2024-06-20 21:22:57
45阅读
JavaScript在前端领域占据着绝对的统治地位，目前更是从浏览器到服务端，移动端，嵌入式，几乎所有的所有的应用领域都可以使用它。技术圈有一句很经典的话“凡是能用JavaScript实现的东西，最后都会用JavaScript实现”。 Excel 电子表格自 1980 年代以来一直为各行业所广泛使用，至今已拥有超过3亿用户，大多数人都熟悉 Excel 电子表格体验。许多企业在其业务的各个环节中使用
前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执
前言： 关于源码的文章，我自己其实也一直在有道云上有总结一些，但由于平日里上班的缘故，着实没有太多的精力来写体系的写这些东西，但是，确实觉得这些东西其实还是很重要的，特别是随着工作时间的渐长，越发觉得源码这个东西还是必须要看的，能带来很多的启发，我个人的体会是，每个工作阶段去解读都会有不一样的感受。 &n
转载
2024-10-20 10:21:49
44阅读
Spark内存溢出
堆内内存溢出
堆外内存溢出堆内内存溢出java.lang.OutOfMemoryError: GC overhead limit execeeded
java.lang.OutOfMemoryError: Java heap space
具体说明
Heap size JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.
JVM在启
转载
2023-08-23 10:06:59
194阅读
好久时间没更了，最近继续更新起来！本文咱们来看看如何使用Excel、Python、Hive和Spark SQL来处理json格式的数据！满满干货，细细品尝！先介绍下咱们使用的数据，就来点简单的吧：{"name":"wenwen","age":"26","sex":"male"}就三个字段，分别是姓名、年龄、性别。1、使用Excel处理JSON字符串Excel中并没有解析JSON数据的函数，只能通过
转载
2023-10-05 16:35:05
118阅读
1.2 数据倾斜优化1.2.1 为何要处理数据倾斜(Data Skew)什么是数据倾斜？对 Spark/Hadoop 这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。何谓数据倾斜？数据倾斜指的是，并行处理的数据集中，某一部分(如 Spark 或 Kafka 的一个 Partition)的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。如果数据倾斜没有解决，完全没有
转载
2023-10-23 23:16:03
160阅读
#_*_coding:utf-8_*_# spark读取csv文件#指定schema：
schema = StructType([
# true代表不为null
StructField("column_1", StringType(), True), # nullable=True, this field can not be null
Struct
转载
2023-07-04 16:07:51
158阅读
今天分享一个使用sparksql的spark.write.format("hbase").save()spark.read.format("hbase").load()方式读写Hbase的方法。1、引入maven依赖只需要引用sparksql依赖和hbase-mapreduce包，即可实现spark sql读写hbase功能。<dependency>
<g
转载
2023-08-18 22:53:30
107阅读
# 教你如何实现“Spark 读取”
作为一名经验丰富的开发者，我很高兴能帮助你入门 Spark。在这篇文章中，我将向你展示如何使用 Apache Spark 读取数据。我们将通过一个简单的示例来实现这一过程。
## 流程概览
首先，让我们看看使用 Spark 读取数据的基本流程。以下是一个表格，展示了整个过程的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 导入必
原创
2024-07-19 12:30:02
77阅读
文章目录前言一. pyspark连接hudi二. 创建表三. 插入数据四. 查询数据五. Time Travel查询六. 更新数据七. 增量查询八. 基于时间点查询九. 删除数据9.1 软删除9.2 硬删除十. 插入覆盖十一. Spark其它命令11.1 Alter Table11.2 Partition SQL Command参考: 前言软件版本Python3.8Hadoop3.3.2Spar
转载
2023-08-29 13:59:43
144阅读
文章目录创建SparkSession读取数据jdbcjsoncsvparquet保存数据 创建SparkSessionsparkSQl 可以读取不同数据源的数据，比如jdbc,json,csv,parquet 执行读操作就用sparkSession.read.文件类型，执行写操作就用SparkSession.write.文件类型首先创建一个SparkSession：val spark = Spa
转载
2023-08-09 21:06:49
210阅读
文章目录一、SparkSQL连接Hudi1.1 Hive配置1.2 SparkSQL连接Hudi二、创建表2.1 常规的建表2.2 CTAS三、插入数据四、查询数据五、更新数据5.1 普通5.2 MergeInto六、删除数据七、Insert Overwrite一、SparkSQL连接Hudi1.1 Hive配置我们需要将Hive 的 metastore服务独立出来-- 目前只指定一个节点，也可以
转载
2023-07-17 22:44:01
238阅读
一、学习视频https://www.bilibili.com/video/BV1oE411s7h7?p=37二、配置过程 2.1在spark安装目录下的jars目录中新建hbase目录 2.2将hbase安装目录下的lib目录下的相关文件拷贝到上面的hbase文件夹中 注：./代表当前文件夹
转载
2023-05-18 15:16:30
246阅读
Apache Avro 是一种流行的数据序列化格式。它广泛用于 Apache Spark 和 Apache Hadoop 生态系统，尤其适用于基于 Kafka 的数据管道。从 Apache Spark 2.4 版本开始(参见 Apache Spark 2.4 正式发布，重要功能详细介绍)，Spark 为读取和写入 Avro 数据提供内置支持。新的内置 spark-avro 模块最初来自 Datab
转载
2023-07-28 13:26:40
88阅读
Spark对很多种文件格式的读取和保存方式都很简单。Spark会根据文件扩展名选择对应的处理方式。Spark支持的一些常见文件格式如下：文本文件 使用文件路径作为参数调用SparkContext中的textFile()函数，就可以读取一个文本文件。也可以指定minPartitions控制分区数。传递目录作为参数，会把目录中的各部分都读取到RDD中。例如：val input = sc.textF
转载
2023-07-03 17:01:45
140阅读
