1. 从集合(内存)中创建rdd//1. 从集合(内存)中创建rdd
object initRddByList extends App {
//1. 该对象用于 : Spark应用参数的配置 将Spark的各种参数设置为key,value
// note : 1. 一旦一个SparkConf对象被传递给Spark,他就被克隆了,不能再被修改了(不支持运行时修改配置)
目录ReceiverDirectDirect代码 简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据Receiver使用Kafka的高层次Consumer API来实现。receiver从Kafka中获取的数据都存储在Spark Executor的内存中，然后Spark Streaming启动的job会去处
转载
2024-02-29 08:59:34
29阅读
大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream方法。关于这两个方法的优缺点，官方已经说的很详细，总之就是createDirectStream性能会更好一点，通过新方法创建出来的dstream的rdd partition和kafka的topic的pa
# Spark 日志根据 AppID 输出解析
Apache Spark 是一个强大的分布式计算框架，它让大规模数据处理变得更加高效。在应用程序执行过程中，Spark 生成的日志对于问题排查和性能调优至关重要。通过 Log4j 记录的日志可以帮助开发人员跟踪应用的运行状况，而 AppID 则是用于唯一标识一个 Spark 应用的关键字段。本文将以 AppID 为依据，介绍如何输出并解析 Spar
本片文章主要结合官网的提交说明进行，详情请看http://spark.apache.org/docs/latest/submitting-applications.html
./bin/spark-submit \
--class <main-class>
--master <master-url> \
--deploy-mode <deploy-mode
转载
2023-12-20 17:18:54
44阅读
一、准备工作1.1 环境要求Java: 1.7+Guava: 15.0+
Apollo客户端默认会引用Guava 19，如果你的项目引用了其它版本，请确保版本号大于等于15.0注：对于Apollo客户端，如果有需要的话，可以做少量代码修改来降级到Java 1.6，详细信息可以参考Issue 4831.2 必选设置Apollo客户端依赖于AppId，Apollo Meta Server等环境信息来工
转载
2024-03-15 09:58:37
413阅读
Spark Standalone模式为经典的Master/Slave（主/从）架构，资源调度是Spark自己实现的。在Standalone模式中，根据应用程序提交的方式不同，Driver（主控进程）在集群中的位置也有所不同。应用程序的提交方式主要有两种：client和cluster，默认是client。可以在向Spark集群提交应用程序时使用--deploy-mode参数指定提交方式。
转载
2023-10-03 22:27:39
87阅读
本文讨论了 Join Strategies、Join 中的提示以及 Spark 如何为任何类型的 Join 选择最佳 Join 策略。Spark 5种Join策略：Broadcast Hash Join（BHJ）Shuffle Sort Merge Join（SMJ）Shuffle Hash Join（SHJ）Broadcast Nested Loop Join（BNLJ）Shuffle Cart
转载
2024-01-29 02:41:51
36阅读
spark原理和概念
spark 运行架构spark的节点分为 driver(驱动节点)和executor(执行节点),基于yarn来提交spark job分为两种模式client和cluster,两种模式去区别在于 client模式将会把driver程序运行在执行spark-submit的机器上,而cluster会把driver程序传输到集群中的一个节点去执行, client模式如
转载
2023-10-18 18:22:05
58阅读
长时间运行的 Spark Streaming 作业一旦提交给 YARN 集群，应该一直运行，直到故意停止。 任何中断都会导致严重的处理延迟，并且可能会导致处理数据丢失或重复。 YARN 和 Apache Spark 都不是为执行长时间运行的服务而设计的。 但是他们已经成功地适应了日益增长的近乎实时处理的需求，这些需求是作为长期工作而实施的。 成功并不一定意味着没有技术挑战。本博文总结了我在安全的
转载
2024-01-29 00:51:13
53阅读
本文以Spark执行模式中最常见的集群模式为例，详细的描述一下Spark程序的生命周期（YARN作为集群管理器）。1、集群节点初始化集群刚初始化的时候，或者之前的Spark任务完成之后，此时集群中的节点都处于空闲状态，每个服务器（节点）上，只有YARN的进程在运行（环境进程不在此考虑范围内），集群状态如下所示： 每个节点服务器上都有一个YARN的管理器进程在检测着服务器的状态
转载
2024-01-05 22:04:54
36阅读
背景 Spark Streaming 作业在运行过程中，上游 topic 增加 partition 数目从 A 增加到 B，会造成作业丢失数据，因为该作业只从 topic 中读取了原来的 A 个 partition 的数据，新增的 B-A 个 partition 的数据会被忽略掉。 思考过程 为了作业能够长时间的运行，一开始遇到这种情况的时候，想到两种方案：感知上游 topic 的 partit
转载
2023-12-27 18:30:29
44阅读
过程添加Devices添加并设置发布证书下载证书并导入 Xcode编译程序上传到 FIR.im下载安装添加 Devices 登录苹果开发者网站，添加想要安装测试应用的设备的UDID（苹果公司限制，最多添加100台设备） 可以使用 FIR.im 提供的的接口 快速获取 UDID添加并设置发布证书 添加发布证书 还是在 苹果开发者网站，点击左侧导航栏Provisioning Profiles中的
在使用 Apache Spark 进行大数据处理时，会有不同的运行模式，例如 Local mode、Standalone mode、YARN mode 等。这些模式的选择和配置对于性能表现至关重要。以下是解决“Spark 指定 mode”问题的记录过程。
### 问题背景
在一次对大型数据集的处理任务中，团队的用户在将 Spark 部署到 YARN 集群时，遇到了性能瓶颈。原本预期能够快速完成
# 在Apache Spark中指定Driver的实现方法
随着大数据技术的不断发展，Apache Spark逐渐成为了一种流行的数据处理工具。对于初学者来说，了解如何指定Spark的Driver是掌握Spark的重要一步。本文将详细介绍如何实现这一功能，同时提供相关的代码示例和注释。
## 实现流程
要实现“指定Spark Driver”，我们可以分为几个步骤，下面是这些步骤的概述：
|
# 如何在Spark中指定JAR包
在使用Apache Spark进行开发时，很多时候需要依赖一些外部的JAR包。这些JAR包可能是第三方库，也可能是自定义的代码。本文将指导你如何在Spark中正确地指定这些JAR包，并通过一个简单的步骤流程和代码示例来帮助你掌握这一技能。
## 流程步骤展示
首先，让我们以表格的形式概述实现的主要步骤：
| 步骤 | 描述
原创
2024-10-02 05:05:47
41阅读
# 如何在Spark中指定队列
在大数据处理的过程中，使用Apache Spark对作业进行调度时，合理地指定队列可以有效地管理资源，提高作业的执行效率。本文将引导你一步一步完成这一过程。即使你是刚入行的小白，也能轻松掌握如何在Spark中指定队列。
## 流程概述
下面是实现Spark指定队列的流程概述：
| 步骤 | 描述 |
|------|------|
| 1 | 设置Sp
原创
2024-09-08 06:46:40
171阅读
# Spark 指定队列：优化资源分配的策略
Apache Spark 是一个广泛使用的大数据处理框架，它允许用户在集群上并行处理大量数据。在多用户环境中，合理分配资源是保证作业高效运行的关键。本文将介绍如何通过指定队列来优化 Spark 作业的资源分配。
## Spark 与 YARN 队列
在 Spark on YARN 模式下，可以通过 YARN 的队列系统来控制资源分配。YARN 队
原创
2024-07-16 03:46:06
118阅读
# 如何在Spark中指定Master节点
Apache Spark是一种跨平台的分布式计算框架，广泛用于大数据处理。在进行Spark集群计算时，指定Master节点是至关重要的步骤。本文将带领你一步步了解如何在Spark中指定Master节点，包括相关的代码示例、注释以及图示说明。
## 整体流程概述
以下是使用Spark指定Master的整体流程：
| 步骤 | 描述
原创
2024-09-14 04:40:36
73阅读
# 如何在 Apache Spark 中指定 Master
在学习 Apache Spark 时，指定 Master 是一个基础但重要的步骤。Master 是 Spark 集群的控制节点，负责资源管理和调度。本文将详细介绍如何实现这一过程，提供必要的代码示例以及解释。
## 流程概述
以下是整个流程的简要步骤：
| 步骤 | 描述 |
|
原创
2024-10-03 04:35:05
82阅读
