一、前言Git 每次提交代码，都要写 Commit message（提交说明），否则就不允许提交。基本上写什么都行，但是一般来说，commit message 应该清晰明了，说明本次提交的目的，但是很多人平时可能并不重视这个环节，导致commit记录写的很随意，没有发挥其意义与价值。有多种 Commit message 的写法规范。接下来介绍Angular 规范，这是目前使用最广的写法，比较合理和
转载
2024-01-26 14:06:30
28阅读
1、使用docker 安装 jenkins，网上有很多例子，这里就不重复再写出来了。2、在jenkins中装两个插件：（1）Publish Over SSH，它的作用是进行ssh连接服务器，执行命令，传送文件。（2） Maven Integration plugin，它的作用是建maven项目，当然不用也可，但最好用，省去自己写构建项目脚本。3、jenkins的“全局工具配置”中，装上jdk、gi
一.本文记录内容：使用Mac，对spark源码进行编译二.前期准备：Java8、Scala2.12.11、Maven3.6.3安装配置完成；Spark3.0.0源码已下载三.编译步骤：1.修改源码中的./dev/make-distribution.sh 文件：1）修改MVN="$MAVEN_HOME/bin/mvn"2.修改spark源码的pom.xml文件，将Maven仓库改成阿里云仓库cent
转载
2023-07-05 18:11:28
216阅读
如何编译CDH Spark源代码 经过漫长的编译过程（我编译了2个半小时），最终成功了，在assembly/target/scala-2.10目录下面有spark-assembly-1.0.0-cdh5.1.0-hadoop2.3.0-cdh5.1.0.jar文件，用rar打开看看hive jdbc
原创
2021-07-29 11:06:21
332阅读
概述spark 基础 --mvn -DskipTests clean package -rf :spark-core_2.11RDDresillient distributed dataset 弹性分布式数据集
分布式内存的抽象操作本地集合的方式来操作分布式数据集的抽象实现分布式只读且已分区集合对象,加载到内存处理容错实现
记录数据的更新 - spark记录RDD转换关系Lineage
转载
2023-11-28 08:39:32
92阅读
前言上篇文章介绍了下 安装sbt环境 启动scala项目安装SBT环境运行Scala项目为什么要弄这个 因为我本来是想对spark源码编译部署spark是用scala语言编译的spark源码https://gitee.com/pingfanrenbiji/sparkspark提供的编译方式编译的前提是将所有的依赖包都下载下来而资源包管理方式有maven、graddle、sbt等maven方式将ma
转载
2024-01-24 16:08:43
71阅读
Spark核心编程
Spark 核心是整个项目的基础。它提供了分布式任务调度，调度和基本的 I/O 功能。Spark 使用一种称为RDD(弹性分布式数据集)一个专门的基础数据结构，是整个机器分区数据的逻辑集合。RDDS可以用两种方法来创建的;一个是在外部存储系统引用的数据集，第二个是通过应用转换(如map, filter, reducer,&n
转载
2023-12-08 15:32:22
121阅读
spark源码学习：sparkContext的初始化分析 spark可以运行在本地模式local下，可以运行在yarn和standalone模式下，但是本地程序是通
转载
2024-02-29 22:35:55
24阅读
# 实现Spark编译指南
## 1. 整体流程
下面是实现Spark编译的整体流程。你可以按照这些步骤逐步进行操作。
| 步骤 | 操作 |
|------|----------------------|
| 1 | 下载Spark源代码 |
| 2 | 配置环境 |
| 3 | 构建Spark
原创
2024-04-03 06:24:32
45阅读
# Spark 编译入门
## 简介
在大数据处理领域，Apache Spark 被广泛采用。Spark 是一个强大的开源分布式计算系统，提供了高效的数据处理和分析能力。为了能够在自己的开发环境中使用 Spark，我们需要进行 Spark 的编译和安装。
## Spark 编译过程
Spark 的编译过程包括以下几个步骤：
1. 下载 Spark 源代码
2. 配置编译环境
3. 编译 Sp
原创
2024-01-11 12:23:47
35阅读
# 如何编译Apache Spark：新手入门指南
作为一名经验丰富的开发者，我愿意帮助你了解如何编译Apache Spark。这一过程包括设定环境、获取源码、编译和验证等几个重要步骤。下面我会详细介绍流程，并提供所需的代码。
### 编译流程概览
| 步骤 | 描述 |
|------------|----
原创
2024-10-07 06:19:52
15阅读
http://chengyanbin.blog.51cto.com/3900113/1597359
转载
精选
2014-12-31 10:55:46
324阅读
目标创建一个.Net6项目，结合Jenkins、Gitee实现CI/CD (当编写完代码，并提交到Gitee仓库之后，Jenkins自动帮我们测试，打包，发布项目)关于Jenkins,Docker 的环境搭建可以参考我的上一篇文章步骤Gitee创建一个.Net6项目的仓库Jenkins创建一个自由风格的软件项目配置Jenkins和.Net6项目的关联创建.Net6项目，编写接口代码，本文重点主要C
前言在我们使用Git工具管理代码时，本地修改或添加的代码文件需要保存到Git远程仓库，而我们的项目在服务器上进行部署的时候，需要手动把 Git 仓库的项目文件拖拽到服务器，这样非常麻烦，本文就介绍到怎么利用 Git + WebHooks 实现服务器的代码自动部署一丶初始化代码仓库1、在码云建立自己的代码仓库2.将码云建立好的代码仓库git clone 到服务器二、配置密钥1.生成密钥$ ssh-k
# 使用 Git 下载 Apache Spark：一个简单的指南
Apache Spark 是一个强大的开源分布式计算框架，广泛用于大规模数据处理和分析。在本文中，我们将介绍如何使用 Git 下载 Apache Spark，并提供一些代码示例，同时创建甘特图和流程图以说明下载和构建的整个过程。
## 1. 准备工作
首先，你需要确保你的计算机上安装了 Git 和 Java。你可以通过以下命令
1. 准备工作 首先你的系统中需要安装了 JDK 1.6+，并且安装了 Scala。之后下载最新版的 IntelliJ IDEA 后，首先安装（第一次打开会推荐你安装）Scala 插件，相关方法就不多说了。至此，你的系
原创
2021-07-29 10:53:09
2009阅读
1.下载安装包： https://git-scm.com/downloads 2. 解压tar ： git-2.19.0.tar.gz3.安装依赖 ： yum -y install curl-devel expat-devel gettext-de
原创
2019-01-23 17:06:38
1288阅读
编译安装ngx_http_proxy_module模块的nginx,实现正向代理有的小伙伴在上期视频中应该已经一键安装了apt install nginx一键安装部署过了，这次视频讲解的是安装过的小伙伴如何更新Nginx集成ngx模块，和未安装过的小伙伴如何全新编译安装。Nginx的编译安装（可卸载后重装，本文以nginx1.9.12为例，也可覆盖安装，具体操作如下，我这个上期已经安装过了 就选择
git编译安装
原创
2015-04-23 11:09:36
704阅读
因yum安装的git版本过低，所以尝试使用编译安装git 以下为编译安装时执行的命令 tar xf git-2.9.5.tar.gz cd git-2.9.5yum install curl-devel expat-devel gettext-devel openssl-devel zlib-dev
原创
2021-07-21 11:01:34
211阅读
