Redis集群是Redis提供的分布式数据库方案，集群通过分片(Sharding)来进行数据共享，并提供复制和故障转移功能。节点一个节点就是一个运行在集群模式下的Redis服务器，Redis服务器在启动的时候会根据cluster-enabled配置项来决定是否开启服务器的集群模式。节点当前状态typedef struct clusterNode {
// 创建节点时间
mstime_t ctime
转载
2023-08-30 14:10:31
38阅读
spark 运行架构基本由三部分组成，包括SparkContext(驱动程序)，ClusterManager(集群资源管理器)和Executor(任务执行过程)组成。其中SparkContext负责与ClusterManager通信，进行资源的申请.任务的分配.监控等，负责作业执行的声明周期管理。ClusterManager负责资源的分配和管理，在不同模式下担任的角色有所不同，在本地运行.Spar
转载
2023-07-23 21:47:01
184阅读
**构建Spark Cluster**
**整体流程**
| 步骤 | 描述 |
|----------|-------------------------------------------|
| 步骤一 | 下载并安装Spark |
| 步骤二 |
原创
2024-05-08 09:55:36
80阅读
在Yarn-cluster模式下，driver运行在Appliaction Master上主要记住driver（即提交的程序）用户提交的应用程序代码在spark中运行起来就是一个driver，用户提交的程序运行起来就是一个driver，他是一个一段特殊的excutor进程，这个进程除了一般excutor都具有的运行环境外，这个进程里面运行着DAGscheduler Tasksheduler Sch
转载
2023-07-10 15:11:31
82阅读
一 Spark集群结构Spark 自身是没有集群管理工具的，但是如果想要管理数以千计台机器的集群，没有一个集群管理工具还不太现实，所以 Spark 可以借助外部的集群工具来进行管理整个流程就是使用 Spark 的 Client 提交任务，找到集群管理工具申请资源，后将计算任务分发到集群中运行名词解释1 Driver该进程调用 Spark 程序的 main 方法，并且启动 SparkCo
转载
2024-02-15 21:34:17
97阅读
在使用spark-submit提交Spark任务一般有以下参数：./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # o
转载
2023-08-18 16:34:36
75阅读
Spark（笔记）spark运行模式：本地模式standalone模式：独立集群（封闭）yarn模式：（开放）
yarn-client：AM（driver）在提交任务的本地启动 （交互 / 调试方便）yarn-cluster：AM（driver）在某个NN上启动cluster模式下，driver运行在AM中，负责向Yarn申请资源 ，并监督作业运行状况，当用户提交完作用后，就关掉Clien
转载
2023-11-10 08:53:18
96阅读
1、Spark核心组件1.1 Cluster Manager(Master,ResourceManager)Spark的集群管理器，主要负责对整个集群资源的分配与管理 Cluster Manager在 Yarn 部署模式下为 ResourceManager在 Mesos 部署模式下为 Mesos Master在 Standalone 部署模式下为 Master.Cluster Mana
转载
2023-10-16 12:36:30
126阅读
1.client 模式: 在Client模式下，Driver进程会在当前客户端启动，客户端进程一直存在直到应用程序运行结束。该模式下的工作流程图主要如下：工作流程如下：1.启动master和worker . worker负责整个集群的资源管理，worker负责监控自己的cpu,内存信息并定时向master汇报
2.在client中启动Driver进程，并向master注册
转载
2023-10-29 08:12:34
49阅读
standalone cluster模式通常用于，spark作业部署到生产环境中去使用，是用standalone cluster模式,因为这种模式，会由master在集群中，某个节点上，来启动driver，然后driver会进行频繁的作业调度,此时driver跟集群在一起，那么是性能比较高的standalone client模式，在spark-submit脚本执行的机器上，会启动driver进程，
转载
2024-06-01 21:30:59
36阅读
Spark on YARN模式的核心实现有2个类，分别是Client（org.apache.spark.deploy.yarn.Client.scala）和ApplicationMaster（org.apache.spark.deploy.yarn.ApplicationMaster.scala）。Client的作用是向YARN申请资源（容器）来运行ApplicationMaste
转载
2023-07-29 20:10:34
118阅读
前言Redis Cluster 是 Redis 3.0 版本正式推出的，用来解决分布式的需求，同时实现了高可用。跟 Codis 不同的是，它是去中心化的，客户端可以连接任意一个 Redis 节点。Redis Cluster 模式具备如下特点：操作步骤参考 redis cluster 集群搭建与重新分片、redis-cli --cluster命令明细、redis cluster 扩容与缩容。工作流程
转载
2023-06-26 14:57:36
259阅读
上一篇搭建了一主二从，并加入了哨兵，任何一个节点挂掉都不影响正常使用，实现了高可用。仍然存在一个问题，一主二从每个节点都存储着全部数据，随着业务庞大，数据量会超过节点容量，即便是redis可以配置清理策略，但也有极限，于是需要搭建redis集群，将数据分别存储到不同的redis上，并且可以横向扩展。本节搭建三主三从，即三组一主一从。组内是主从关系，可以实现高可用；组间是集群关系，实现分工存储。开始
转载
2023-06-01 18:21:28
192阅读
在大数据处理领域，Apache Spark 已经成为一种流行的高效计算框架，尤其是在集群模式下，它能显著提高数据处理的效率。然而，运行在“Spark Cluster模式”中的应用可能会面临各种挑战，例如资源分配、任务调度和网络延迟等问题。这篇博文将深入探讨如何分析和解决这些问题。
```mermaid
timeline
title Spark Cluster模式演变
2009 :
# 实现Spark集群模式
## 引言
本文将介绍如何在Spark中实现集群模式。对于一个刚入行的小白来说，了解和掌握这个过程是非常重要的。本文将详细介绍整个流程，并给出每一步所需的代码示例和注释。
## 流程概述
整个流程可以分为以下几个步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1. 准备集群环境 | 配置集群环境，确保集群中的所有节点正常运行 |
| 2. 编写
原创
2024-01-26 12:38:14
6阅读
下载spark、scala的包如下操作：[hadoop@oversea-stable~]$wgethttp://mirrors.hust.edu.cn/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz--2018-06-2710:07:25--http://mirrors.hust.edu.cn/apache/spark/spark-2.
原创
2018-06-27 16:38:47
5714阅读
点赞
之前面试遇到过一次这个问题，回答的很不好，这次专门记录下来，进行深入的解析两者区别。 首先，最简单也十分浅显的一种说法是：yarn-cluster是用于生产环境，这种模式下客户端client在提交了任务以后，任务就托管给yarn了，这个时候client就可以断开连接不需要再管后续事情了，这种情况下无法直接查看到application运行的日志，查看日志较为麻烦；而yarn-client则是
转载
2023-12-23 20:55:37
93阅读
目录1. Cluster 模式原理分析2. Client 模式原理分析3. 两种模式区别分析1. Cluster 模式原理分析客户端提交给ResourceManager的每一个job都会在集群的NodeManager节点上分配一个唯一的ApplicationMaster，由该ApplicationMaster管理全生命周期的应用，Spark Driver首先作为一个Application
转载
2023-10-08 23:10:47
127阅读
Spark 内核概述Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark的任务调度机制、Spark的内存管理机制、Spark核心功能的运行原理等。熟练掌握Spark内核原理能够帮助我们更好的完成Spark代码设计，并且在项目运行时出现问题可以快速的锁定问题的症结。Spark 核心组件回顾Cluster-Manager（Master，Resource
转载
2023-11-15 20:07:59
78阅读
spark的runtimestandaloneSpark可以通过部署与Yarn的架构类似的框架来提供自己的集群模式。
该集群模式的架构设计与HDFS和Yarn大相径庭，都是由一个主节点多个从节点组成。
在Spark 的Standalone模式中：
主：为master
从：为worker任务提交流程：spark-submit 提交任务给 MasterMaster 收到任务请求后通过 LaunchDr
转载
2023-08-12 21:35:24
84阅读
