当经过shuffle写数据到本地磁盘后，需要从磁盘中将数据读取出来，这个是 ShuffledRDD 做的事情：override def compute(split: Partition, context: TaskContext): Iterator[(K, C)] = {
val dep = dependencies.head.asInstanceOf[ShuffleDependency
转载
2024-07-03 02:08:47
57阅读
现代的，平民的，组装的计算机，都能同时做很多事情。我的计算机可以一边播放着MP3，一边显示着文字和图片，一边维护着记事本，一边bt着。。。严格地说，在某一瞬间，一个CPU上只能运行一道程序。但在1秒内，她可以在若干个程序之间切换，使得迟钝的用户产生并行的错觉（多处理机才是真正的并行）。于是，当有多个进程都就绪时，CPU必须选择谁下一个运行。在操作系统中，调度程序使用调度算法来调度调度工作
原创
精选
2021-09-08 09:17:27
1518阅读
点赞
1评论
DataX是一款功能强大的数据集成平台，但是其无WEB管理界面使得DataX任务在管理与调度方面存在不少问题，任务多了后很难管理和维护，同时使用和学习成本也比较高。今天就介绍下用RestCloud ETL怎么来快速的管理和调度DataX任务，通Web界面即可以方便的调度DataX的任务，增强DataX的管理和告警能力。 首先登录进入Restcloud ETL平台&
转载
2024-04-30 18:32:05
36阅读
Overview本文章基于 k8s release-1.17 分支代码，代码位于 plugin/pkg/admission/serviceaccount 目录，代码：admission.go[1] 。api-server 作为常用的服务端应用，包含认证模块 Authentication、授权模块 Authorization 和准入模块 Admission Plugin(可以理解为请求中间件模块 m
1、任务调度与资源调度任务调度：是指通过DAGScheduler，TaskScheduler，SchedulerBackend等进行的作业调度。资源调度：是指应用程序获取资源。任务调度是在资源调度的基础上，没有资源调度，那么任务调度就没有任何意义了。2、分配Driver（只对cluster模式有效）Spark的Driver的运行有2种模式，一种是Client模式（Driver程序运行在客户端，适用
转载
2023-11-13 10:21:18
116阅读
Spark内部有若干术语(Executor、Job、Stage、Task、Driver、DAG等)，需要理解并搞清其内部关系，因为这是性能调优的基石。节点类型有：1. Master 节点： 常驻master进程，负责管理全部worker节点。2. Worker 节点： 常驻worker进程，负责管理executor 并与master节点通信。 Dirvier：官方解释为： T
转载
2024-01-05 21:40:57
197阅读
# 海豚调度平台 Spark 读取本地数据
随着大数据时代的到来，数据处理和分析的方法层出不穷。其中，Apache Spark 是一个高效的集群计算框架，广泛应用于大数据处理。本文将介绍如何在海豚调度平台中使用 Spark 读取本地数据，同时提供相关的代码示例，帮助读者更好地理解这一过程。
## 1. 什么是海豚调度平台？
海豚调度平台是一款基于云的调度系统，旨在为用户提供全自动、可视化的数
在Kubernetes（简称K8S）中，调度是一个非常重要的功能，用于将Pod（容器组）调度到集群中的节点上运行。然而，有时候我们需要手动控制某些节点不被调度，比如节点可能需要维护或者暂时不可用。这篇文章将指导您如何实现“K8S节点不调度”。
整体流程如下：
| 步骤 | 操作 |
| ------ | ------- |
| 步骤 1 | 创建一个标签为“unschedulable”的节点
原创
2024-02-26 11:37:26
69阅读
# Kubernetes Node 不调度
在Kubernetes中，Node是集群中的工作节点，它负责运行Pod中的容器。有时候我们希望暂时将某个Node标记为不可调度状态，以便在维护、故障排查或其他情况下禁止在该Node上创建新的Pod。在本文中，我们将介绍如何实现将一个Node设置为不可调度状态。
## 步骤概览
下表列出了将Node设置为不可调度状态的步骤：
| 步骤
原创
2024-04-03 10:02:44
63阅读
提要上一篇文章中讲述了线程机制原理，这篇则是根据线程机制的原理简单实现线程，并在初始化线程后实现简单的线程调度。非常简单的构建线程，PCB的结构很简单，线程栈也很小。线程调度的实现相对于大型操作系统来说也很简单，是在现有的条件下实现的简单线程调度。这里没有提到进程结构体，但用到了task_struct的命名方式，是因为后续实现用户进程也是通过线程实现的，到时候只是在现有的结构上增加结构体成员变量，
1 python线程 python中Threading模块用于提供线程相关的操作，线程是应用程序中执行的最小单元。 1 #!/usr/bin/env python
2 # -*- coding:utf-8 -*-
3
4 import threading
5 import time
6
7 def show(arg):
8 time.sleep(1
转载
2024-05-13 12:17:33
40阅读
第一章 Spark 性能调优1.1 常规性能调优1.1.1 常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交Spark任务时进行指定，标准的Spark任务提交脚本如代码清单2-1所示
转载
2024-01-23 17:02:27
183阅读
Spark 任务调度机制 1. Job & Stage & Task2. Spark 任务调度概述Spark Stage 级调度Spark Task 级调度调度策略本地化调度失败重试与黑名单机制4.1Task数量和分区的关系4.2 阶段的划分4.3 阶段划分源码4.4 RDD 任务划分4.5 Task的数量4.6 Task种类的划分4.7 任务调度4.8 任务执行总结 ) 1.
转载
2023-08-11 15:15:12
541阅读
1、资源调度模式1.1、local模式（本地）运行该模式非常简单，只需要把Spark的安装包解压后，改一些常用的配置即可使用，而不用启动Spark的Master、Worker守护进程( 只有采用集群的Standalone方式时，才需要这两个角色)，也不用启动Hadoop的各服务（除非要用到HDFS文件系统）。 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spar
转载
2023-08-11 14:15:59
113阅读
Spark 中的调度模式主要有两种：FIFO 和 FAIR。默认情况下 Spark 的调度模式是 FIFO（先进先出），谁先提交谁先执行，后面的任务需要等待前面的任务执行。而 FAIR（公平调度）模式支持在调度池中为任务进行分组，不同的调度池权重不同，任务可以按照权重来决定执行顺序。使用哪种调度器由参数 spark.scheduler.mode 来设置，可选的参数有 FAIR 和 FIFO，默认是
转载
2023-08-08 13:04:29
118阅读
spark Steaming、spark ml等命令，最终都会转换成spark-core的组件命令来执行spark RDD是 spark-core组件的数据结构、或叫数据模型、数据抽象Resilient Distributed Dataset基本概念
弹性分布式数据集是spark的数据抽象是一个不可变、可分区、里面元素可并行计算的合集可以看做是对一堆数据的打包，就是一个RDD，也可以说
转载
2023-12-27 11:42:41
57阅读
Druid 连接池配置今天碰到了Druid配置的相关问题，参数有点多，所以先码。Druid 是阿里开发的开源数据库连接池，通过池技术提升访问数据库的效率，至于原理，既然是池化技术，跟线程池差不多。下面为 可配置 参数详解（来源：网络）： 配置缺省值说明name 配置这个属性的意义在于，如果存在多个数据源，监控的时候可以通过名字来区分开来。 如果没有配置，将会生成一个
转载
2023-08-18 15:46:03
184阅读
这个在网上都有解决方案了，但是网上的给的解决方案夹杂了本身的业务，其实动态启动定时任务只需要关注系统启动时的动态启停，至于要不要入库，取决于自身业务情况，与解决这个问题没啥关系；ok，我来梳理下我这边理解的，我简单的就实现了，当然可以动态加更多的内容，通过这个可以简单进行封装成XXL的job，其实原理都是想通；定时任务对于大多数需求来说，@注解级别就可以了，，，但是有些需要提前用数据库配置的，，也
转载
2024-01-31 00:13:40
160阅读
K8S（Kubernetes）是一个开源的容器编排平台，用于自动化部署、扩展和操作应用程序容器。在K8S中，我们可以通过指定节点不调度的方式，控制容器应该在哪些节点上运行。在本文中，我将向你介绍如何在K8S中实现指定节点不调度的功能。
下面是实现k8s指定节点不调度的流程：
步骤 | 描述
-----------------------|--------
原创
2024-02-07 13:30:25
90阅读
在Kubernetes（K8S）集群中，有时候我们可能会遇到内存很多的Pod无法被调度的情况。这是因为K8S默认会考虑节点的资源情况来进行调度，如果节点的内存不足以满足Pod的需求，那么这些Pod就无法被调度。所以，我们需要通过设置Pod的资源限制来让K8S知道如何合理地进行调度。
下面我将向你介绍实现“内存很多K8S不调度”这一需求的具体步骤：
步骤 | 操作
--- | ---
1 | 在
原创
2024-03-28 11:50:06
64阅读
