一 RDD概念1 RDD为什么会产生2 RDD概述21 什么是RDD22 RDD的属性3 13 RDD弹性4 RDD特点41 分区42 只读43 依赖44 缓存45 checkpoint二 RDD编程1 编程模型2 22 创建RDD 一、 RDD概念1.1 RDD为什么会产生RDD是Spark的基石，是实现Spark数据处理的核心抽象。那么RDD为什么会产生呢？Hadoop的MapRed
一、Spark中的基本概念（1）Application：表示你的应用程序（2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext（3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些task
转载
2023-07-18 22:30:56
67阅读
Spark工作原理分析
Spark应用程序
指的是用户编写的Spark应用程序，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。
Spark应用程序，由一个或多个作业JOB组成
Driver：驱动程序
Spark中的Driver即运行上述Application的Main()函数并且创建SparkContext，其中创
简述本文主要介绍springMVC工作原理。工作原理客户端发送HTTP请求，DispatcherServlet控制器拦截到请求，调用HandlerMapping 解析请求对应的Handler，HandlerAdapter根据Handler来调用真正Controller处理请求，并处理相应的业务逻辑，Controller返回一个模型视图ModelAndView，ViewResolver进行解析，返回
1工作原理1.大家都知道，只要在数据库类型的技术里面，比如,最传统的mysql,Oracle包括现在大数据领域的数据仓库如Hive ，他的基本Sql 执行的模型，都是类似的，首先生成一条SQL 语句的执行计划。例如Select name from names => 解析成从哪里去查询（names 表在那个文件里面，从文件中查询那么些数据（name 列））此外复杂的sql 比如查询时对表中的
转载
2023-09-14 23:09:14
66阅读
先上图（自己画的有点丑） 这个就是Spark运行的基本流程图。 或者看这个图 可以看出Spark运行经过以下几个阶段： 1.用户编写好SparkContext，新创建的SparkContext连接资源管理器cluster manager，其实Spark的还有其他优秀的资源管理器可以用，比如Standalone，Apache Mesos,YARN等。资源管理器根据用户提交SparkConte
转载
2023-08-08 13:33:25
60阅读
下面我们来分析一下Spark的工作原理 来看这个图 首先看中间是一个Spark集群，可以理解为是Spark的 standalone集群，集群中有6个节点 左边是Spark的客户端节点，这个节点主要负责向Spark集群提交任务，假设在这里我们向Spark集群提交 了一个任务那这个Spark任务肯定会有一个数据源，数据源在这我们使用HDFS，就是让Spark计算HDFS中的数据。 当Spark任务把H
千呼万唤始出来，犹抱琵琶半遮面，来了，来了，它来了。前面我们已经说完了：springboot的快速入门，进阶，实战，终于到轮到springboot原理分析了。springboot工作原理springboot是什么？首先我们还是来看一看百度百科，对springboot的介绍。Spring Boot是由Pi
仅作复习时使用。MapReduce工作流程第一步，准备好文件；
第二步，切片分析；
第三步，客户端会提交3个信息：Job的切片、jar包（集群模式才有）、Job运行相
关的参数信息；
第四步，Yarn会开启一个Mr appmaster（整个任务的老大），Mr appmaster会读
取客户端提交的信息，根据切片信息开启对应个数的MapTask；
后续讲解一个MapTask的工作内容：
第
本文将尝试探索 webpack 插件的工作流程，进而去揭秘它的工作原理。
原创
2021-07-14 11:52:44
10000+阅读
前言通过插件我们可以扩展webpack，在合适的时机通过Webpack提供的 API 改变输出结果，使webpack可以执行更广泛的任务，拥有更强的构建能力。本文将尝试探索 webpa...
转载
2021-08-30 13:34:19
794阅读
参考资料<<Android开发艺术探索>>前言在日常开发中，我们每天都在和各种View打交道，比如TextView，Button等，我们直接拿过来就可以使用，那么Android是怎么把View绘制到屏幕上呢，接下来我们结合源码来具体分析。在具体结合源码分析前，先了解一个比较重要的概念ViewRootViewRoot先看一张图Android窗口构成图解ViewRoot对应于V
推荐
原创
2018-01-19 14:43:16
10000+阅读
点赞
1评论
Spark基本工作流程相关术语解释Spark应用程序相关的几个术语：Worker：集群中任何可以运行Application代码的节点，类似于YARN中的NodeManager节点。在Spark on Yarn模式中指的就是NodeManager节点；Executor：Application运行在Worker 节点上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上，每个Appli
原创
2023-04-25 11:16:03
416阅读
Spark工作流程由4个主体联系构成（如上图所示）：Application：指用户编写的Spark应用程序，其中包括一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码Master：主节点，布置作业
Block Tracker用于记录计算数据在Worker节点上的块信息Shuffle Blocker用于记录RDD在计算过程中遇到Shuff
转载
2023-06-11 15:31:05
47阅读
MapReduce工作流程原理详解(1)输入数据（Input）：客户端submit()（客户端submit()前就已经将数据进行逻辑上的规划，也就是切片了），客户端将数据信息（job.split , wc.jar等）提交给Yarn的ResourceManager进行处理，ResourceManager启动NodeManager和ApplicationMaster，ApplicationMaster
Jenkins之工作流程原理
原创
2022-07-11 15:21:46
291阅读
其他网址Kafka工作流程_Da.的博客-博客_kafka工作流程
原创
2022-03-23 17:30:30
480阅读
Spark工作流程1.使用Spark-submit提交代码至服务器上2.创建SparkContext,在SparkContext初始化的时候会创建DAGSchedule
原创
2022-12-28 15:16:19
131阅读
一、简介在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)：累加器：用来对信息进行聚合，主要用于累计计数等场景；广播变量：主要用于在节点间高效分发大对象。二、累加器这里先看一个具体的场景，对于正常的累计求和，如果在集群模式中使用下面的代码进行计算，会发现执行结果并非预期：var counter = 0
val da
SpringMVC主要包含一下组件DispatcherServlet-前端控制器HandlerMapping-处理器映射Controller-控制器ViewResolver-视图解析器View-视图Spring的请求流程SpringMVC的核心在于其请求流程，这是使用SpringMVC框架的基础，SpringMVC是一种基于Servlet的技术，它提供了核心控制器DispatcherServlet
