本文以Spark执行模式中最常见的集群模式为例，详细的描述一下Spark程序的生命周期（YARN作为集群管理器）。1、集群节点初始化集群刚初始化的时候，或者之前的Spark任务完成之后，此时集群中的节点都处于空闲状态，每个服务器（节点）上，只有YARN的进程在运行（环境进程不在此考虑范围内），集群状态如下所示： 每个节点服务器上都有一个YARN的管理器进程在检测着服务器的状态
转载
2024-01-05 22:04:54
36阅读
今天记录一下spark里面的一些key-value对的相关算子。key-value对可以简单理解为是一种认为构造的数据结构方式，比如一个字符串"hello"，单看"hello"的话，它是一个字符串类型，现在假设我想把它在一个文本中出现的次数n作为一个值和"hello"一起操作，那么可以构造一种键值对(key-value)的结构来表示，也就是（hello,n）这样的结构，那么可能会问为什么要这么构造
转载
2023-08-11 12:30:51
82阅读
Spark中对键值对RDD(pairRDD)基于键的聚合函数中，都是通过combineByKey()实现的。它可以让用户返回与输入数据类型不同的返回值（可以自己配置返回的参数，返回的类型） 首先理解：combineByKey是一个聚合函数，实际使用场景比如,对2个同学的3门考试科目成绩，分别求出他们的平均值。（也就是对3门考试成绩进行聚合，用一个平均数来表示）combineByKey是通
转载
2024-01-17 10:23:41
46阅读
在Spark1.3之后，引入了Direct方式。不同于Receiver的方式，Direct方式没有Receiver这一层，其会周期性地获取Kafka中每个topic（主题）的每个partition（分区）中的最新offsets（偏移量），之后根据设定的maxRatePerPartition来处理每个batch。其形式如下图所示。这种方法相较于Receiver方式的优势在于：● 简化的并行。Dire
转载
2024-06-04 11:39:28
34阅读
Spark GraphX 文章目录Spark GraphX第1节 Spark GraphX概述第2节 Spark Grap2.1 GraphX 架构2.2 存储模式2.3 核心数据结构1、Graph2、vertices3、edges4、triplets第3节 Spark GraphX计算案例一：图的基本操作案例二：连通图算法案例三：寻找相同的用户，合并信息 第1节 Spark GraphX概述Gr
转载
2023-11-29 15:34:28
65阅读
# Spark Join Key
## 介绍
在 Spark 中，Join 操作是非常常见的数据处理操作。Join 操作用于将两个或多个数据集合并在一起，以根据共享的键值（Join Key）连接数据。
Join 操作通常用于将两个具有关联信息的数据集合并在一起。例如，我们可以将一组用户数据与一组订单数据进行 Join 操作，以便通过用户ID将用户数据与订单数据关联起来。这样，我们可以获得包含
原创
2023-10-12 11:35:20
33阅读
# Spark 设置 Key 的方法
Apache Spark 是一个强大的大数据处理框架，通过分布式计算可以高效地处理海量数据。在许多数据处理场景中，我们需要对数据进行键值映射，这时候就离不开“key”的概念。本文将介绍如何在 Spark 中设置 Key，并通过代码示例进行讲解。
## 什么是 Key
在 Spark 中，Key 通常用于区分数据记录。例如，在一个用户访问日志中，用户ID可
# 使用Spark打散Key的完整指南
在大数据处理过程中，经常需要对数据进行聚合操作，而在这些操作中，Key的打散常常是个重要的步骤。今天，我将教你如何使用Apache Spark打散Key。通过简单的步骤和代码示例，你将能掌握这一技术。
## 整体流程
我们可以将整个打散Key的过程简化为以下几个步骤：
| 步骤 | 说明 |
|------|------|
| 1. 环境准备 | 安
Spark Standalone模式为经典的Master/Slave（主/从）架构，资源调度是Spark自己实现的。在Standalone模式中，根据应用程序提交的方式不同，Driver（主控进程）在集群中的位置也有所不同。应用程序的提交方式主要有两种：client和cluster，默认是client。可以在向Spark集群提交应用程序时使用--deploy-mode参数指定提交方式。
转载
2023-10-03 22:27:39
87阅读
## Redis Key 导出指定KEY
### 1. 引言
Redis是一个开源的内存数据存储系统，它以键值对的形式存储数据，并且支持多种数据结构。在Redis中，Key是用来唯一标识一个值的，它可以是任意的字符串。在实际开发中，我们可能需要导出指定的Key，以便进行数据分析、数据迁移等操作。本文将介绍如何通过代码实现Redis Key的导出。
### 2. Redis Key 导出的场景
原创
2023-11-14 05:59:15
129阅读
本文讨论了 Join Strategies、Join 中的提示以及 Spark 如何为任何类型的 Join 选择最佳 Join 策略。Spark 5种Join策略：Broadcast Hash Join（BHJ）Shuffle Sort Merge Join（SMJ）Shuffle Hash Join（SHJ）Broadcast Nested Loop Join（BNLJ）Shuffle Cart
转载
2024-01-29 02:41:51
36阅读
1. kafka消息丢失的原因1.生产者消息丢失
①acks=0 producer不需要等broker确认收到消息的回复 就继续发送下一条消息
②acks=1 等lead确认收到消息的回复 不等follow确认收到消息的回复 就继续发送下一条消息
③acks=-1,all 等lead及所有follow确认收到消息的回复 再发送下一条消息2.消费者消息丢失
主要体现在消费端offerset的
转载
2024-07-12 10:21:32
199阅读
目录什么是DAGDAG 解决了什么问题DAG 是怎么工作的工作流程注意点DAG，全称 Directed Acyclic Graph， 中文为：有向无环图。在 Spark 中， 使用 DAG 来描述我们的计算逻辑。什么是DAGDAG 是一组顶点和边的组合。顶点代表了 RDD， 边代表了对 RDD 的一系列操作。DAG Scheduler 会根据 RDD 的 transformation 动作，将 D
转载
2023-10-20 18:15:17
58阅读
1. SparkRDD的操作 Spark RDD的操作，便是对RDD的转换执行操作。从上图我们可以总结出，sparkRDD的操作，从宏观上分为：Transformation和Action，但是具体的还以分为输入算子、变换算子、缓存算子，以及行动算子。1.2. Transformation1.2.1. flatMap 是Spark RDD中的转换算子，对RDD中的每一个元素都执行，前后元素的对应关系
转载
2024-01-25 17:01:34
43阅读
在使用Ansible进行自动化部署和配置管理时，我们经常需要使用密钥进行身份验证。 Ansible提供了一种方式可以指定使用的密钥，这对于提高系统安全性和简化部署过程非常有帮助。本文将介绍如何在Ansible中指定密钥（key）。
Ansible是一种开源的自动化工具，可以帮助自动完成系统配置、应用部署、任务执行等。它使用SSH协议来远程连接主机，并通过执行Playbooks来自动管理主机。在访
原创
2024-02-01 11:44:10
154阅读
在QT中，有一个工具qmake可以生成一个makefile文件，它是由.pro文件生成而来的，.pro文件的写法如下：注释 从“#”开始，到这一行结束。2.模板变量告诉qmake为这个应用程序生成哪种makefile。下面是可供使用的选择： TEMPLATE = app A> app -建立一个应用程序的makefile。这是默认值，所以如果模板没有
spark原理和概念
spark 运行架构spark的节点分为 driver(驱动节点)和executor(执行节点),基于yarn来提交spark job分为两种模式client和cluster,两种模式去区别在于 client模式将会把driver程序运行在执行spark-submit的机器上,而cluster会把driver程序传输到集群中的一个节点去执行, client模式如
转载
2023-10-18 18:22:05
58阅读
长时间运行的 Spark Streaming 作业一旦提交给 YARN 集群，应该一直运行，直到故意停止。 任何中断都会导致严重的处理延迟，并且可能会导致处理数据丢失或重复。 YARN 和 Apache Spark 都不是为执行长时间运行的服务而设计的。 但是他们已经成功地适应了日益增长的近乎实时处理的需求，这些需求是作为长期工作而实施的。 成功并不一定意味着没有技术挑战。本博文总结了我在安全的
转载
2024-01-29 00:51:13
53阅读
背景 Spark Streaming 作业在运行过程中，上游 topic 增加 partition 数目从 A 增加到 B，会造成作业丢失数据，因为该作业只从 topic 中读取了原来的 A 个 partition 的数据，新增的 B-A 个 partition 的数据会被忽略掉。 思考过程 为了作业能够长时间的运行，一开始遇到这种情况的时候，想到两种方案：感知上游 topic 的 partit
转载
2023-12-27 18:30:29
44阅读
2.2：Playbook 中常用的 KeywordsPlaybook中的Keyword是key: value键/值对中的key，这些Keywords是定义好的，而其相应的value是需要自定义的。一个Ansible Playbook的内部逻辑关系大致是这样的：2.2.1：主要框架的 Keywords2.2.1.1：hosts定义格式：- hosts: HOST_PATTERNHOST_PATTER
转载
2024-08-12 12:09:34
47阅读
