一、为什么需要调优一般情况在实际的生产环境中编写代码会有各种各样的事情发生，比如说赶项目，所以留给程序猿的时间并不是很多，有时候还要面临需求方催进度或给领导进行汇报等等原因，造成在开发初期的时候一味的只是追求代码的功能实现，所以在易用性和性能上会比较差一些，所以在后期会对原有的代码进行性能调优和代码进行维护升级、优化、重构等等（ps：要不然性能低下的话真的是把人给“搞死”了，尤其是在大数据领域）。
转载
2023-12-31 21:45:54
53阅读
Spark Streaming运行流程源码解析
Spark Streaming源码流程解析。目录写在前面开干启动流处理引擎StreamingContext的创建outputOperator算子注册StreamingContext的启动接收并存储数据Driver端ReceiverTracker的操作Executor端ReceiverSupervisor的操
转载
2023-06-25 23:01:16
0阅读
一、准备好所需要的文件 1、打包好的wordFreqFileSpark-0.1-jar-with-dependencies.jar 2、自己编写好的run.sh脚本文件 例子： &nb
转载
2024-08-14 16:05:07
37阅读
第一章 Spark 性能调优1.1 常规性能调优1.1.1 常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交Spa
转载
2024-07-17 15:30:54
61阅读
通过学习Spark源码为了更深入的了解Spark。主要按照以下流程进行Spark的源码分析，包含了Spark集群的启动以及任务提交的执行流程：Spark RPC分析start-all.shMaster启动分析Work启动分析spark-submit.sh脚本分析SparkSubmit分析SparkContext初始化5.spark-submit.sh脚本分析通过spark-submit.sh提交任
转载
2023-11-09 10:45:51
77阅读
Spark-SQL的Java实践案例(四)数据源:(读取与存储数据,JDBC服务器)这章我们来搞 数据源:(读取与存储数据,JDBC服务器)sparkSQL支持很多种结构化的数据源,并且把内部复杂的细节都封装了起来,方便我们从各种数据源轻松的获取Row对象数据源包括但不限:parquet,hive表,JSON等等而且当我们使用SQL查询数据源中的数据,并且只用到了一部分字段的时候,sparkSQL
转载
2023-11-13 12:47:37
63阅读
1.Spark Streaming 代码分析： 1.1 示例代码DEMO： 实时计算的WorldCount：import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark
转载
2023-08-27 22:35:17
41阅读
之前学习过Spark Core源码，接下来一段时间研究一下Spark Streaming相关的内容！下面就从最简单的Streaming程序开始作为入口点(Receiver模式)，程序代码如下：import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.streaming.{Seconds, StreamingC
转载
2024-08-02 18:17:12
27阅读
这篇文章以Spark官方Word Count为例，基于最新的2.0.2版本代码浅析Spark Streaming 的工作流程，这个例子实现了对socket流中的单词进行采集，以秒为单位统计每秒种出现的单词及出现次数。Word Count代码中路径如下： /spark/examples/src/main/scala/org/apache/spark/examples/streaming/Networ
转载
2024-01-08 11:54:24
29阅读
目录资料mllib统计相关性分析KMeans聚类算法SVM算法其他算法实例的文件目录位置资料Spark机器学习库（MLlib）中文指南关于spark机器学习的知乎专栏Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介基本Kmeans算法介绍及其实现spark MLlib 概念 1：相关系数（ PPMCC or PCC or Pearson's r皮尔森
转载
2023-07-05 21:38:07
78阅读
Spark常用代码 文章目录Spark常用代码1. 创建RDD方法2. 专门读取小文件wholeTextFiles3. rdd的分区数4. Transformation函数以及Action函数4.1 Transformation函数4.2 Action函数4.3 其他常见的函数5. 重分区函数6. 聚合函数6.1 基础聚合函数6.2 Key-Value类型的聚合函数6.3 join相关操作7. 搜
转载
2023-08-28 22:59:13
70阅读
大家好，我是一行Spark代码，我叫小小小蕉，不知道为毛，我爸爸大蕉和我妈妈大大蕉把我生的又瘦又长。长这样。val sssjiao =
new SparkContext(
new SparkConf().setAppName(
"sssjiao").setMaster(
"yarn-cluster")).parallelize(
Array(
""))
通过一个简单的单词计数的例子来开始介绍RDD编程。import org.apache.spark.{SparkConf, SparkContext}
object word {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local").setAppName("
转载
2023-06-19 06:20:57
160阅读
1.从哪里开始？我们可以看到spark examples模块下，有各种spark应用的示例代码。包括graphx，ml（机器学习），sql，streaming等等我们看一下最简单的SparkPi这个应用源码// scalastyle:off println
package org.apache.spark.examples
import scala.math.random
import org
转载
2024-03-04 06:25:53
47阅读
资源影响因素Spark和Yarn管理的资源限制因素：CPU内存磁盘网络I/OSpark和Yarn管理的两个主要资源为CPU和内存，剩下不会主动管理，所以设置资源也是主要通过这两方面进行设置。资源优化配置 在资源配置中，可以用过代码的设置sparkconf进行设置，或者在脚本里通过参数进行设置，脚本的优先级大于代码的优先级。YARN的相关属性是# 控制每个节点上的容器使用的最大内存总和。
yarn
转载
2023-07-18 22:21:57
44阅读
快速上手写spark代码系列：03-开始写一个spark小脚本（1） 快速上手写spark代码系列03-开始写一个spark小脚本1训练背景设置第一步准备数据集第二步读取文件第三步做字段提取生成RDD第四步合并RDD第五步过滤某些字段第六步关联用户第七步关联位置参数第八步选取字段生成新的结果第九步存储成指定文件数目第十步保存到指定位置 训练背景设置上一篇将了RDD操作的各种函数，这一节就把这些函数
转载
2023-12-09 14:38:16
71阅读
Spark 在spark 中，支持4中运行模式：1）Local:开发时使用2）Standalone: 是spark 自带的，如果一个集群是standalong 的话，那么就需要在多台机器上同时部署spark 环境3）Yarn:建议大家在生产上使用该模式，统一使用yarn 进行整个集群作业（mr、spark）的资源调度4）Mesos ：跟yarn使用一样都是资源调度不管使用什么模式，spa
转载
2023-06-19 10:03:37
118阅读
# Spark计算代码入门指南
在现代数据处理处理中，Apache Spark是一个强大且广泛使用的分布式计算框架。对于刚入行的小白来说，掌握Spark计算代码的基本流程至关重要。本文将详细阐述Spark计算的整个流程，并提供具体的代码实现示例，帮助您快速入门。
## 工作流程概述
我们可以将Spark计算的整体流程缩减为几个主要步骤，具体如下：
| 步骤 | 描述
原创
2024-09-24 05:39:48
36阅读
# 感知点击：使用 Spark 处理点击流数据
在大数据时代，点击流数据的分析变得愈发重要。点击流数据是用户在网站上点击的记录，这些数据可以帮助我们理解用户行为并优化产品体验。Apache Spark 是一个强大的分布式计算框架，能够高效处理大规模的数据。本文将以 Spark 为基础，通过代码示例展示如何处理点击流数据。
## Spark 简介
Apache Spark 是一个统一的分析引擎
# Spark 代码睡眠：深入理解Spark中的延迟和调度
Apache Spark 是一个功能强大的分布式数据处理框架，广泛应用于大数据分析和机器学习等领域。然而，尽管 Spark 的设计初衷是优化数据处理性能，但在实际使用中，代码执行延迟和资源调度问题仍然存在。本文将探讨这些问题，以及如何通过适当的调度和管理技术来“叫醒”沉睡的 Spark 代码。
## 什么是代码睡眠？
在 Spark
