安装插件指南安装插件位置导航替换插件镜像源默认的镜像源为 http://updates.jenkins-ci.org/update-center.json，国内访问由于墙的原因会受到限制 1. 系统管理 - 管理插件 - 高级 2. 原url http://updates.jenkins-ci.org/update-center.json 替换为 http://mirror.esuni.jp/je
文章目录窄依赖宽依赖Stagepipeline 管道计算模式stage并行度决定因素 : stage的最后一个RDD的partition个数决定提高并行度方法 :API中的参数能够传递 numPartition参数,就可以调整task的个数窄依赖父 RDD 和
原创
2022-02-22 18:30:49
99阅读
文章目录窄依赖宽依赖Stagepipeline 管道计算模式stage并行度决定因素 : stage的最后一个RDD的partition个数决定提高并行度方法 :API中的参数能够传递 numPartition参数,就可以调整task的个数窄依赖父 RDD 和子 RDD partition 之间的关系是一对一的。或者父 RDD 一个,partition 只对应一个子 RDD 的 partiti...
原创
2021-06-05 23:42:46
600阅读
pipline 是帮助 Jenkins 实现 CI 到 CD 转变的重要角色， 是运行在 jenkins 2.X 版本的核心插件， 简单来说 Pipline 就是一套运行于 Jenkins 上的工作流框架， 将原本独立运行于单个或者多个节点的任务连接起来， 实现单个任务难以完成的复杂发布流程， 从而实现单个任务很难实现的复杂流程编排和任务可视化， Pipeline 的实现方式是一套Groovy D
转载
2024-03-19 14:57:27
113阅读
pipeline自动构建使用最近在学习研究pipeline自动流水线构建的操作，在这里做一下笔记避免忘记。这里就不介绍怎么安装了，安装可看 一、pipeline流水线创建1、在页面的左上角有点击新建任务2、选择流水线和输入名称，最后点击确定二、多种操作方式1、从gitlab上将项目的分支版本拉取到页面中，供用户选择，分支指的是 branch，标签指的是 tag，选择哪个就可以
转载
2023-07-21 21:01:06
0阅读
在Jenkins Pipeline中使用Docker容器作为不同stage的代理是一种强大且灵活的方式，它允许每个stage在隔离的、特定配置的环境场景的应用。
在Jenkins Pipeline中，你可以在不同的stage中使用不同的节点（代理）来执行任务。这可以通过在每个stage中指定agent指令来实现。
下面是hive基本练习，持续补充中。Hive导出数据有几种方式，如何导出数据1.insert# 分为导出到本地或者hdfs，还可以格式化输出，指定分隔符
# 导出到本地
0: jdbc:hive2://node01:10000> insert overwrite local directory '/kkb/install/hivedatas/stu3' select * from stu;
转载
2024-06-21 16:57:38
124阅读
//提交stage，为stage创建一批task，task数量和partition数量相同 private def submitMissingTasks(stage: Stage, jobId: Int) { logDebug("submitMissingTasks(" + stage + ")") // Get our
原创
2017-05-05 15:26:00
778阅读
如何实现 "openharmony stage"
作为一名经验丰富的开发者，我将帮助你了解如何实现 "openharmony stage"。下面是整个过程的步骤，并附带了每个步骤需要执行的代码和注释。
**步骤1：创建 OpenHarmony 项目**
首先，你需要创建一个 OpenHarmony 项目。可以按照以下步骤操作：
1. 打开终端，并进入你的项目目录。
2. 使用以下命令创建一个
原创
2024-01-15 23:52:22
33阅读
Git 基本知识与常用指令一、Git代码状态转换图其中：未被Git跟踪的状态为unstage状态；已被Git跟踪的状态为stage状态（stage：阶段），因此包括staging状态和staged状态。 untrack files：是指尚未被git所管理的文件；changed but not updated：是指文件被git管理，并且发生
1. Job提交触发
流程图：
作业提交流程由RDD的action操作触发，继而调用SparkContext.runJob。
在RDD的action操作后可能会调用多个SparkContext.runJob的重载函数，但最终会调用的runJob见1.1。
1.1. SparkContext.runJob def runJob[T, U: ClassTag]
转载
2024-06-22 18:29:53
127阅读
Hive 的Stage如何划分，也是Hive SQL需要优化的一个点，这个问题，我也是在实际的工作中遇到的。所以我查询了网络的解答并记录下来，以便日后复习。以下是主要内容，enjoy~~~一个 Hive 任务会包含一个或多个 stage，不同的 stage 间会存在着依赖关系，越复杂的查询通常会引入越多的 stage (而 stage 越多就需要越多的时间时间来完成)。用户提交的 Hive QL
转载
2023-09-10 12:41:54
165阅读
在生产环境中，spark 部署方式一般都是 yarn-cluster 模式，本文针对该模式进行讲解，当然大体思路也适用于其他模式 基础概念一个 spark 应用包含 job、stage、task 三个概念job：以 action 方法为界，一个 action 触发一个 jobstage：它是 job 的子集，以 RDD 宽依赖为界，遇到宽依赖即划分 stagetask：它是 stage
转载
2023-08-09 10:21:59
60阅读
Spark中的一个Stage只不过是物理执行计划其中的一个步骤，它是物理执行计划的一个执行单元。一个Job会被拆分为多组Task，每组任
原创
精选
2024-04-30 14:59:57
169阅读
# 实现 Stage 模型
## 流程概述
Stage 模型是一种常用的软件开发流程模型，可以帮助团队高效地完成软件开发任务。下面是实现 Stage 模型的基本流程：
| 步骤 | 描述 |
| --- | --- |
| 1. 需求收集 | 确定软件开发的需求和目标 |
| 2. 规划阶段 | 制定开发计划和时间表 |
| 3. 设计阶段 | 设计软件架构和功能模块 |
| 4. 编码阶段
原创
2024-01-09 18:14:13
88阅读
回顾之前，我们已经实现了颜色填充的四边形，以及具有纹理贴图的四边形。如果仅仅只是这些，那实在是太无聊了，通过这些我们能够实现的东西无非就是一堆可以动的图片，当然对于某些需求这已经足够，但我们并不因此而止步。另一方面，GPU硬件的能力也远不止如此，这些单调的贴图四边形远远没有发挥为其提供的巨大资源。接下来我们该研究怎样让GPU尽量地发挥它们应有的价值了。但是为了给GPU施加指令，就需要编写shade
转载
2024-04-01 08:49:56
47阅读
一、前述RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。Spark中的Stage其实就是一组并行的任务，任务是一个个的task 。二、宽窄依赖窄依赖父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。父RDD的一个分区
转载
2023-11-01 20:20:46
277阅读
这里以count操作为例，一步步解析Spark在执行一个Job时如何进行DAG图的解析。Spark在遇到Action类型算子时，会使用SparkContext进行一系列的runJob方法调用，最终会调用DAGScheduler的runJob方法来划分DAG图。一、runJob方法调用// 计算RDD中包含的键值对
转载
2023-08-24 08:28:45
211阅读
这里主要讲解的是stage的划分。stage的划分工作是在DAGScheduler中完成的，在DAGScheduler中会将一个job根据宽窄依赖划分为多个stage。下面会详细介绍stage的划分过程。1.首先你需要有一个spark2.X源码，因为你可以在源码的基础上进行注释，方便你后期的学习。双击shift->输入RDD2.进入到RDD的源码，你会发现我们调用的spark算子都在这里，算
转载
2023-10-20 15:09:54
202阅读
