一、准备好所需要的文件 1、打包好的wordFreqFileSpark-0.1-jar-with-dependencies.jar 2、自己编写好的run.sh脚本文件 例子： &nb
转载
2024-08-14 16:05:07
37阅读
通过一个简单的单词计数的例子来开始介绍RDD编程。import org.apache.spark.{SparkConf, SparkContext}
object word {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local").setAppName("
转载
2023-06-19 06:20:57
160阅读
文章目录从Spark官网闭包说起共享变量示例图广播变量（针对只读变量）Broadcast Variables广播变量有什么作用？累加器（只能在Driver端获取）Accumulator 从Spark官网闭包说起Spark官网Understanding closures（闭包）部分指出，Spark的一个难点在于理解变量和方法的范围和生命周期。//使用foreach()计算
var counter
转载
2023-08-14 09:31:10
94阅读
一、为什么需要调优一般情况在实际的生产环境中编写代码会有各种各样的事情发生，比如说赶项目，所以留给程序猿的时间并不是很多，有时候还要面临需求方催进度或给领导进行汇报等等原因，造成在开发初期的时候一味的只是追求代码的功能实现，所以在易用性和性能上会比较差一些，所以在后期会对原有的代码进行性能调优和代码进行维护升级、优化、重构等等（ps：要不然性能低下的话真的是把人给“搞死”了，尤其是在大数据领域）。
转载
2023-12-31 21:45:54
53阅读
Spark Streaming运行流程源码解析
Spark Streaming源码流程解析。目录写在前面开干启动流处理引擎StreamingContext的创建outputOperator算子注册StreamingContext的启动接收并存储数据Driver端ReceiverTracker的操作Executor端ReceiverSupervisor的操
转载
2023-06-25 23:01:16
0阅读
1.项目地址：开发者：201631062515 201631062415码云地址：https://gitee.com/heshuxiang/WordCount/tree/master2.项目需求对程序设计语言源文件统计字符数、单词数、行数，统计结果以指定格式输出到默认文件中，以及其他扩展功能，并能够快速地处理多个文件。(1)基本功能：wc.exe -c file.c &nbs
filter示意图 默认情况下，经过了这种filter之后，RDD中的每个partition的数据量，可能都不太一样了。原本每个partition的数据量可能是差不多的。每个partition的数据量变少了，但是在后面进行处理的时候，还是要跟partition数量一样数量的task,来进行处理，有点浪费task 计算资源每个partition的数据量不一样，会导致后面的每个task处理每个part
转载
2024-06-11 12:58:25
34阅读
Spark性能调优之代码方面的优化1.避免创建重复的RDD 对性能没有问题，但会造成代码混乱 2.尽可能复用同一个RDD，减少产生RDD的个数3.对多次使用的RDD进行持久化（cache,persist,checkpoint）如何选择一种最合适的持久化策略？ 默认MEMORY_ONLY, 性能很高， 而且不需要复制
转载
2023-08-08 14:05:01
82阅读
以wordcount代码为例解析Spark RDD stage划分源码程序代码:System.setProperty("hadoop.home.dir","C:\\hadoop")
val sparkConf = new SparkConf().setMaster("local").setAppName("wordCount")
sparkConf.set("spark.netw
转载
2024-05-17 15:06:38
47阅读
通过学习Spark源码为了更深入的了解Spark。主要按照以下流程进行Spark的源码分析，包含了Spark集群的启动以及任务提交的执行流程：Spark RPC分析start-all.shMaster启动分析Work启动分析spark-submit.sh脚本分析SparkSubmit分析SparkContext初始化5.spark-submit.sh脚本分析通过spark-submit.sh提交任
转载
2023-11-09 10:45:51
77阅读
Spark-SQL的Java实践案例(四)数据源:(读取与存储数据,JDBC服务器)这章我们来搞 数据源:(读取与存储数据,JDBC服务器)sparkSQL支持很多种结构化的数据源,并且把内部复杂的细节都封装了起来,方便我们从各种数据源轻松的获取Row对象数据源包括但不限:parquet,hive表,JSON等等而且当我们使用SQL查询数据源中的数据,并且只用到了一部分字段的时候,sparkSQL
转载
2023-11-13 12:47:37
63阅读
第一章 Spark 性能调优1.1 常规性能调优1.1.1 常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交Spa
转载
2024-07-17 15:30:54
61阅读
1.Spark Streaming 代码分析： 1.1 示例代码DEMO： 实时计算的WorldCount：import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark
转载
2023-08-27 22:35:17
41阅读
之前学习过Spark Core源码，接下来一段时间研究一下Spark Streaming相关的内容！下面就从最简单的Streaming程序开始作为入口点(Receiver模式)，程序代码如下：import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.streaming.{Seconds, StreamingC
转载
2024-08-02 18:17:12
27阅读
这篇文章以Spark官方Word Count为例，基于最新的2.0.2版本代码浅析Spark Streaming 的工作流程，这个例子实现了对socket流中的单词进行采集，以秒为单位统计每秒种出现的单词及出现次数。Word Count代码中路径如下： /spark/examples/src/main/scala/org/apache/spark/examples/streaming/Networ
转载
2024-01-08 11:54:24
29阅读
性能调优：总则：加资源加并行度 简单直接，调节最优的资源配置 RDD架构和持久化当可分配的资源无法达到更多的时候在考虑性能调优从 重剑无锋 到 花拳绣腿分配资源 并行度 RDD架构和缓存调优算子调优调优 、 广播大变量分配哪些资源：executor(task--worker任务数) cpu per executor（每个作业的cpu核心数）、memory （可以使用的内存）
转载
2024-06-01 20:53:12
38阅读
wordcount代码wordcount作为大多数spark甚至大数据学习阶段的第一个案例，具有很好的教学意义，本文同样使用wordcount作为案例，对它在spark中的运行过程作一个详细的讲解。import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object WordCountSc
转载
2024-07-01 20:01:37
28阅读
1.从哪里开始？我们可以看到spark examples模块下，有各种spark应用的示例代码。包括graphx，ml（机器学习），sql，streaming等等我们看一下最简单的SparkPi这个应用源码// scalastyle:off println
package org.apache.spark.examples
import scala.math.random
import org
转载
2024-03-04 06:25:53
47阅读
在处理大规模数据时，Apache Spark是一个强大的工具。然而，有时候我们可能需要重置Spark的配置，以确保我们可以以最佳的方式处理数据。本文将详细描述如何重置Spark的配置，涵盖从环境准备到扩展应用的完整过程。
## 环境准备
为了顺利重置Spark的配置，我们首先需要强化我们的软硬件环境。这将确保我们使用的版本和硬件能够支持Spark的正常运行。
### 软硬件要求
| 组件
一.什么是sparkspark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。二.spark的特点1.速度快一般情况下，对于迭代次数较多的应用程序，Spark程序在内存中的运行速度是Hadoop和MapReduce运行速度的100多倍，在磁盘上的运行速度是Hadoop MapReduce运行速度的10多倍。2.易于使用 Spark支持使用Scala、Python、Java及R语言快速编写应
