一、什么是线程操作系统在运行一个程序时，会为其创建一个进程（就是windows任务管理器看到的那些运行的进程）。例如，启动一个Java程序， 操作系统就会创建一个Java进程。现代操作系统调度的最小单元是线程，也叫轻量级进程 (Light Weight Process)，在一个进程里可以创建多个线程，这些线程都拥有各自的计数器、堆栈和局部变量等属性，并且能够访问共享的内存变量。处理器利用程序计数器
转载
2023-09-22 07:15:55
102阅读
Spark是一个通用的分布式计算框架，用于处理大规模数据集的并行计算任务。在Spark中，任务数量的设置对于作业的执行效率和性能至关重要。本文将介绍任务数量是如何决定的，并提供相应的代码示例。
任务数量是由以下几个因素决定的：
1. 数据分区：Spark将数据划分为多个分区，每个分区都由一个任务处理。数据分区的数量决定了任务的数量。默认情况下，Spark会根据数据源的大小和集群中的节点数量自动
原创
2024-01-05 09:32:15
881阅读
Spark 源码分析之ShuffleMapTask处理<iframe width="800" height="500" src="//player.bilibili.com/player.html?aid=37442139&cid=66008946&page=22" scrolling="no" border="0" frameborder="no" framespacing
1 spark中的宽依赖算子spark的rdd基本操作包括transformation和action，rdd都是懒加载的，通过DAGGraph生成一个有向无环链来代表rdd的生成关系，只有遇到action以后才会真正的去执行。在执行过程中会根据宽/窄依赖进行stage划分，常见的宽依赖包括groupByKey/reduceByKey/partitionBy……以reduceByKey为例，调用re
转载
2024-06-11 23:04:57
22阅读
进程：正在执行的程序。每一个进程执行都有一个顺序，改顺序称为执行路径，或者叫一个控制单元。线程：进程中一个独立的控制单元，线程控制着进程的执行。进程与线程的关系： 一个进程至少有一个线程（至少有一个主线程）。扩展：JVM启动时，会启动java.exe进程。改进程至少有一个线程负责java程序的执行，而且这个线程运行的代码存在于main方法中，被称为主线程。（其实JVM启动不只一个线程，还有负责垃
转载
2023-08-04 23:11:10
76阅读
问题导读： 1、Spark Job Stage划分算法有哪些？ 2、Task最佳计算位置算法如何理解？ 3、Task任务本地算法运用场景有哪些？一、Stage划分算法 由于Spark的算子构建一般都是链式的，这就涉及了要如何进行这些链式计算，Spark的策略是对这些算子，先划分Stage，然后在进行计算。 由于数据是分布式的存储在各个节点上的，所以为了减少网络传输的开销，就必须最大化的追求数据本地
RDD在计算的时候，每个分区都会起一个task，所以rdd的分区数目决定了总的的task数目。申请的计算节点（Executor）数目和每个计算节点核数，决定了你同一时刻可以并行执行的task。比如的RDD有100个分区，那么计算的时候就会生成100个task，你的资源配置为10个计算节点，每个两2个核，同一时刻可以并行的task数目为20，计算这个RDD就需要5个轮次。 如果计算资源不变，你有10
转载
2023-10-07 10:13:22
110阅读
Mapreduce中mapper个数的确定：在map阶段读取数据前，FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。 影响map个数，即split个数的因素主要有：HDFS块的大小，即HDFS中dfs.block.size的值。如果有一个输入文件为1024m，当块为256m时，会被划分为4个split；当块为128m时，会被划分为8个split。文件
转载
2024-03-25 18:11:05
161阅读
一.并发编程的基础概念1.CPU核心数和线程数的关系六个核心数---->1:1 一个核心 就是一个线程 以前超线程技术---->(1:2) 六个核心数=12个线程 现在ARM32,ARM64,x86 x64 //安卓处理器2.CPU时间片轮转机制进程:操作系统管理的最小单元;线程:是CPU调度的最小单元;进程>线程: 一个进程至少一个线程如果一个进程,还有一个线程没有杀死,进程还
转载
2023-10-12 17:37:12
292阅读
阅读本文可以带着下面问题：1.map和reduce的数量过多会导致什么情况？2.Reduce可以通过什么设置来增加任务个数？3.一个task的map数量由谁来决定？4.一个task的reduce数量由谁来决定？
一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的
goa
转载
2023-08-11 12:26:46
136阅读
Spark中各种组件、概念之间具备一定的数量关系，本篇博文主要整理一下这些内容，并且从弹性、分布式、数据集这三个方面来解释RDD的概念。目录一、Spark数量关系1. 分区数 Partition2. 阶段数量 Stage3. 任务数量 Task4. Executor数量5. 并行度数量二、RDD的概念剖析1. 弹性2. 分布式3. 数据集一、Spark数量关系1. 分区数 Partition（1）
转载
2023-11-23 17:10:50
243阅读
话说在《Spark源码分析之五：Task调度（一）》一文中，我们对Task调度分析到了DriverEndpoint的makeOffers()方法。这个方法针对接收到的ReviveOffers事件进行处理。代码如下：
1. // Make fake resource offers on all executors
2. // 在所有的executors上提供假的资源（抽象
map数目确定方法Map数目的划分是由输入文件大小，个数等因素决定的，另外不同的文件输入格式切分map数目的方法也是不一样的，我们来看下Hive使用的两种输入格式的Map数目确定方法。HiveInputFormatMapTask的数目主要有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该
转载
2023-09-08 12:02:55
138阅读
1）map的个数是由输入所分成的split的个数决定的，有多少个split，就会有多少个map任务。2）split由两个因素决定：一个是文件数量，一个是文件大小。 一般情况下，Hadoop为每一个文件或文件的一部分分配一个map任务。如果文件小于要split的size，该文件就对应一个map；如果文件大于要split的size，该文件就会对应多个map。所以，一般来说，文件数量越多，map越多；
转载
2024-04-15 11:30:39
257阅读
优化 Spark 应用的一个主要手段就是合理设置任务执行的并行度，尽可能的利用集群资源 ，从而提高执行效率。而影响 spark 并行度的因素主要有如下几个：RDD 的分区数（Partition ）Spark 应用默认会为每一个 RDD 分区创建一个 Task, 所以输入 RDD 的分区数直接影响待 分配的 Task 总数，Task 任务数如果少于分配的计算资源（cores ），则可能造成部分资 源
转载
2023-09-26 14:27:30
287阅读
概述本文描述了Spark2的job的实现框架，并对其各个组成部分进行了介绍。spark的Job介绍从前面的文章中我们知道：一般来说Spark RDD的转换函数(transformation)不会执行任何动作，而当Spark在执行RDD的action函数时，Spark调度程序(scheduler)会构建执行图(graph)并发起一个Spark作业(Job)。Job由很多的Stage构成，这些Stag
转载
2024-06-12 05:48:15
57阅读
线程数设多少合适？？提问：工作线程数是不是设置的越大越好？ 回答：肯定不是的 1）一来服务器CPU核数有限，同时并发的线程数是有限的，1核CPU设置10000个工作线程没有意义 2）线程切换是有开销的，如果线程切换过于频繁，反而会使性能降低提问：如果CPU是单核，设置多线程有意义么，能提高并发性能么？ 回答：即使是单核，使用多线程也是有意义的 1）多线程编码可以让我们的服务/代码更加清晰
转载
2024-06-27 04:27:40
39阅读
写在前面、、、WordCount为例直接执行这个段代码，根据执行结果，进行分析object WCApp {
def main(args:Array[String]) = {
val conf = new SparkConf().setMaster("local[2]").setAppName("WCApp")
val sc = new SparkContext(conf)
转载
2024-06-25 22:13:49
92阅读
reduce的数目到底和哪些因素有关 1、我们知道map的数量和文件数、文件大小、块大小、以及split大小有关，而reduce的数量跟哪些因素有关呢？ 设置mapred.tasktracker.reduce.tasks.maximum的大小可以决定单个tasktracker一次性启动reduce的数目，但是不能决定总的reduce数目。 c
1. 了解shuffle代码HashShuffleSortShuffle改进的主要原因 Linux最大一次能打开的文件数量是1024个,所以优化的方向就是减少文件数量hash shuffle 文件数=executor数量* core数* map task数* 分区数
改进后的hashshuffle文件数=executor数量* core数* 1*分区数
sorshuffle文件数=executor
转载
2023-09-30 12:08:26
103阅读
