1，对比表： RDDDataframeDataset版本1.01.31.6描述分布式数据集合行列化的分布式数据集合 RDD 和 DataFrame的结合数据格式结构化和非结构化都可以结构化和半结构化都可以结构化和非结构化都可以数据源多种多种多种不变性和互通性容易转化为dataframe转化到dataframe ，失去原RDD.转化后，原RDD会重新生成编译类型安全类
转载
2023-11-20 13:56:46
78阅读
文章目录txt\csvjson\xmlxls更强的计算能力易于应用集成SPL资料 在 JAVA 应用中经常要处理 txt\csv\json\xml\xls 这类公共格式的数据文件，直接用 JAVA 硬写会非常麻烦，通常要借助一些现成的开源包，但这些开源包也都有各自的不足。解析库。这种类库解决了从外部文件到内部对象的问题，比硬编码取数好写，常见的有解析 txt\csv 的 OpenCSV，解析 j
转载
2024-04-19 09:27:44
13阅读
读写 Excel使用的是 crealytics 的 spark-excel （CSDN 的国内镜像仓库）解决 Excel 的读写问题，可以直接读取为 DataFrame ，常用的表头、读取 sheet 以及读取位置等参数都可以配置，写入的话支持写入到单个 Excel 文件而不是目录，常用的参数有写入表头、写入位置以及写入模式都参数配置，还支持同一个Excel文件多次写入。导入 Maven 依赖：&
转载
2023-10-04 21:15:05
169阅读
Excel迷你图工具Sparklines 插件是一款可以制作excel迷你图的应用工具，通过该软件，用户可以制作各种excel的图标小工具，主要用于评估指标走势的优劣、好坏与波动区间范围，能够帮助用户更直观的查看各类图形增长趋势，可以更好的呈现一类指标一段时间的走势或者不同状况下的状态等，增加如表的观赏性，需要的朋友赶快下载试试吧！软件功能1、添加标签选择数据系列：此下拉框显示可标签的数据系列选择
转载
2023-08-11 17:02:11
142阅读
接触Spark也有一段时间了，最开始一直都是上网看一些博客，自己搭建个虚拟机倒腾，都是一些零散的学习，回头想想还是有必要系统性的学习、理解一遍，本系列博客将会参照spark 官方文档上来一一讲解，但是也不会仅仅只是翻译（翻译也不全面），其中还会加上一些自己的理解、在项目中的一些所见所闻，希望自己能够慢慢成长起来，如果理解有误还请各
什么是Spark Shuffle
• 问题：每一个key对应的value不一定都是在一个partition中，也不太可能在同一个节点上，因为RDD是分布式
的弹性的数据集，他的partition极有可能分布在各个节点上。
• 如何聚合？
– Shuffle Write：上一个stage的每个map task就必须保证将自己处理的当前分区中的数据相同的key写入一
个分区文件中，可能会写入多
Spark Streaming入门概述应用场景集成Spark生态系统的使用Spark Streaming发展史 词频统计使用spark-submit执行使用spark-shell执行工作原理 概述Spark Streaming是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。数据可以从像卡夫卡，室壁运动，或TCP套接字许多来源摄入，并且可以使用与像高级别功能表达复杂
转载
2023-08-08 12:24:44
66阅读
spark job中绝大多数task执行得非常快，但个别task执行缓慢。或者原本线上运行的job是正常，但在某天由于特殊原因报出OOM的异常，观察发现是因为代码本身造成的。
转载
2023-05-30 12:20:39
71阅读
常规性能调优一、最优资源配置二、RDD 优化2.1 RDD 复用2.2 RDD 持久化2.3 RDD 尽可能早的 filter 操作三、广播大变量四、Kryo 序列化五、调节本地化等待时长 一、最优资源配置Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用
转载
2023-09-20 21:28:37
71阅读
Spark调用集群的计算/存储资源来处理数据，是大规模的数据处理/机器学习绕不开的一个话题。Spark提供获得数据（如RDD and DataFrame）以及数据分析（如MLLib）的工具。我个人主要是在公司里折腾深度学习模型，所以没有用不上MLLib中提供的工具。虽然说看databricks就知道这东西肯定很多人有用的。RDD和DataFrame恰好是历史上的先后，我们也就照历史线写一下：Spa
转载
2023-06-13 15:38:25
131阅读
当前流行的数据流计算平台是twitter的storm，yahoo的s4等， 这些流计算平台采用record-at-a-time模型： 记录流式达到计算节点， 计算节点依据当前记录进行一定计算，更新节点内部状态，最后输出新记录给下游计算节点。 record-at-a-time模型存在如下问题： • 故障处理不足。 有复制和数据回放两种容错方式， 但是这两种方式各有不足。 复制方法消耗两
转载
2024-02-03 08:39:57
25阅读
一、小文件管理 之指定分区数1、配置 spark.sql.shuffle.partitions，适用场景spark.sql()合并分区spark.conf.set("spark.sql.shuffle.partitions", 5) #后面的数字是你希望的分区数这样配置后，通过spark.sql()执行后写出的数据分区数就是你要求的个数，如这里5。2、配置 coale
转载
2023-09-25 10:32:17
251阅读
文章目录简介结构MavenGradle扩展组件知识快速体验创建Excel读取Excel开发指南读取Excel方法对比读取Excel的所有Sheet方式一方式二读取单元格的值提取Excel表所有单元格内容Cell支持的基础数据类型日期格式化单元格对齐设置单元格边框样式设置单元格的属性单元格填充合并单元格自定义字体样式特殊设置sheet放大或缩小冻结窗口切割窗口添加图片调整列宽适应内容读取超链接内容
转载
2023-07-10 21:32:25
398阅读
场 景《Shell语言调用SparkSQL抽取业务DB数据到hadoop集群》讲述了如何将业务库的数据etl到hadoop集群ods层，在hadoop集群上经过spark，hive控件处理dwd层，dm层以及app层后，很多需要还是需要将集群的数据再分发到集群外，比如数据导成excel，csv，数据回写到mysql，sql server等等，也找了很多大数据工具，感觉都不是很灵活，于是乎就自己用p
转载
2023-10-24 14:49:43
168阅读
概述spark stream是对spark核心api的扩展，其有着很好的扩展性，很高的吞吐量以及容错性的动态数据的流式处理过程。数据可以来自不同的数据源，例如Kafka, Flume, Twitter, ZeroMQ, Kinesis, or TCP sockets，一些具有高级功能的复杂的算法，例如map,reduce,join andwindow，可以使用这些算法来进行数据的处理。最
转载
2023-11-07 15:45:02
75阅读
2021SC@SDUSC目录 2021SC@SDUSCSpark Graph 简介Spark GraphX总体设计属性图Graph的基本结构Spark Graph 简介 2010年，Google提出了适合复杂机器学习的分布式图计算Pregel框架。同年，CMU的Select实验室提出了GraphLab框架，Graph Lab是面向机器学习的流处理并行框架。Grap
转载
2023-11-27 19:51:06
75阅读
Spark简介 Spark是基于内存的分布式批处理系统，它把任务拆分，然后分配到多个的CPU上进行处理，处理数据时产生的中间产物（计算结果）存放在内存中，减少了对磁盘的I/O操作，大大的提升了数据的处理速度，在数据处理和数据挖掘方面比较占优势。Spark应用场景数据处理(Data Processing)：可以用来快速处理数据，兼具容错性和可扩展性。迭代计算(Iterati
转载
2023-06-10 20:57:47
384阅读
Spark读取Excel文件的需求愈发广泛，尤其在数据分析和机器学习领域，数据源的多样性使得处理Excel文件成为必要。Jupyter、DataFrame等技术需要快速访问这些文件，以保证在数据学习和分析过程中的高效性。本文将系统性地介绍如何利用Apache Spark读取Excel文件，包括相关技术原理、架构解析、源码分析、性能优化及扩展讨论。
在我们的分析中，可以使用四象限图来总结Spark
Spark Streaming的流数据处理和分析 Spark读写Kafka一、流是什么二、Spark Streaming1、简介2、流数据处理框架3、内部工作流程三、StreamingContext Spark Streaming读kafa数据1、创建2、入门 Spark Streaming读kafa数据示例无状态流处理有状态流处理四、Spark Streaming 写数据到kafka对Kafk
转载
2023-11-09 14:52:30
70阅读
一、Spark 基础知识1.1 Spark 简介 Spark是专为大规模数据处理而设计的快速通用的计算引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。1.2 核心概念介绍Spark常用术语介绍Application: Spark的应用程序，包含一个Driver program和若干ExecutorSparkContex
转载
2023-08-13 23:03:10
190阅读
