Spark中针对键值对类型的RDD做各种操作比较常用的两个方法就是ReduceByKey与GroupByKey方法，下面从源码里面看看ReduceByKey与GroupByKey方法的使用以及内部逻辑。官方源码解释：三种形式的reduceByKey总体来说下面三种形式的方法备注大意为： 根据用户传入的函数来对（K,V）中每个K对应的所有values做merge操作(具体的操作类型根据用户定义的函
转载
2023-09-04 13:43:06
64阅读
概述本文主要记录在win10环境下编译spark源码过程中的主要步骤，中间涉及一些问题导致运行example例子未成功，因此记录下来加深印象。话不多说，开始记录。环境准备jdk version ：1.8scala version ：2.10.0maven version ：3.3.9spark version ： 2.2.0step1在一切准备妥当之后，就可以动手了，首先下载spark源码， 可以
转载
2023-08-29 14:09:31
259阅读
转载
2023-07-26 22:14:23
3阅读
# 实现GitHub Spark教程
## 整体流程
首先，让我们来看一下实现GitHub Spark的整体流程：
```mermaid
gantt
title GitHub Spark实现流程
section 入门
注册GitHub账号 :a1, 2022-01-01, 3d
创建新仓库 :a2, after
原创
2024-02-25 06:28:22
67阅读
概述spark 基础 --mvn -DskipTests clean package -rf :spark-core_2.11RDDresillient distributed dataset 弹性分布式数据集
分布式内存的抽象操作本地集合的方式来操作分布式数据集的抽象实现分布式只读且已分区集合对象,加载到内存处理容错实现
记录数据的更新 - spark记录RDD转换关系Lineage
转载
2023-11-28 08:39:32
92阅读
文章目录一、怎么查找开源项目二、怎么使用项目练手 一、怎么查找开源项目以GitHub为例，GitHub上的开源项目非常多，且全面，不过速度比较慢。 码云gitee速度比较快，如果需要的话，可以将GitHub上的代码同步到码云上从码云下载。而且码云gitee搭建个人博客也快，还有一个Web IDE的功能，可在线浏览代码，且体验很好。GitHub上的项目，一般有项目名，项目描述信息，README 等
转载
2024-06-13 16:40:57
101阅读
概要本文主要介绍了在Win10系统中安装Github终端、如何配置安装好的Git终端以及如何利用Git终端将自己的项目上传到远程服务器中操作必备win10系统电脑一台、良好的互联网连接、GitHub账户(需要提前到官网进行注册)GitHub的安装1、到官网下载GitHub的安装软件链接为：https://git-scm.com/download/win注意进入这个网页后等待几秒钟下载会自动进行，下
转载
2023-07-12 15:11:45
165阅读
一、linux环境编译 （ubuntu1604_64）1）下载FFmpeg源码 https://ffmpeg.org/download.html 下载最新的版本，ffmpeg-x.x.x.tar.gz，再通过命令解压：tar -xjvf ffmpeg-x.x.x.tar.bz2 或者git拉下来，git clo
转载
2023-11-14 22:23:49
768阅读
GitHub注册以及安装教程 首先，我们了解一下github.gitHub 是一个面向开源及私有软件项目的托管平台，因为只支持 git 作为唯一的版本库格式进行托管，故名 gitHub。github 于 2008 年 4 月 10 日正式上线，除了 git 代码仓库托管及基本的 Web 管理界面以外，还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱（报表）、代码片段分享（Gi
转载
2023-10-12 14:18:27
256阅读
1.第三方登录的原理所谓第三方登录，实质就是 OAuth 授权。用户想要登录 A 网站，A 网站让用户提供第三方网站的数据，证明自己的身份。获取第三方网站的身份数据，就需要 OAuth 授权。举例来说，A 网站允许 GitHub 登录，背后就是下面的流程。
A 网站让用户跳转到 GitHub。
GitHub要求用户登录，然后询问"A 网站要求获得 xx 权限，你是否同意？"用户同意，GitHub就
# 使用Spark实现粒子效果的完整指南
在今天的开发世界中，粒子效果常常被用在各种应用中，包括游戏、视觉特效等。本文将教会你如何在GitHub上实现“Spark粒子”的基本功能。我们将整个流程分解为几个简单的步骤，并展示所需的代码及注释。
## 流程概述
在开始之前，先看一下整个过程的步骤：
| 步骤 | 描述 |
|------|----
最近准备开始看spark源码，第一步当然是要搭建一个舒适的spark源码阅读环境，通过单步调试才能顺藤摸瓜的理清具体脉络，有助与提高阅读效率。在搭建环境过程中，遇到一些奇怪的错误，但居然都鬼使神差的搞定了，人品啊，哈哈哈Spark的源码使用scala语言编写的，说到scala的IDE工具，首选当然是idea，idea安装scala插件我这里就详说了，除了idea外，我们还需要安装的软件有：mave
转载
2023-08-07 01:25:05
100阅读
老实说，GitHub 在国内的使用体验并不算太好，这其中最大的原因就是网络了。GitHub 访问起来比较卡，这个看起来貌似无解。国内的 gitee 网速倒是可以，但是无法代替 GitHub，个人感觉 gitee 上还是开源项目多一些，工具类库要少一些。在网络比较卡的情况下，如果我们想在线查看 GitHub 上项目的源码，是非常的不方便，我们需要不断的进入到某个目录中，然后再退出来，再进入到其他目录
转载
2023-07-12 15:15:46
328阅读
RDD之getNarrowAncestors内部方法分析最近开始spark的源码攻关，其实看源码一直是我最怕的东西，因为太多、太杂、太深导致不能够很好的把我脉络导致每次最后都放弃。有人跟我说看源码可以阶段性一个方法一个方法的去学习，去看，每天积累一点总会成功，那么今天开始我的第一天spark源码分析。我这里从spark最基本的RDD中的方法说起，我感觉这样会更容易一些。同时我只对其中感觉比较重要的
转载
2023-08-31 23:52:51
78阅读
Spark Shuffle 源码在划分stage时，最后一个stage称为finalStage，它本质上是一个ResultStage对象，前面的所有stage被称为ShuffleMapStage。 ShuffleMapStage的结束伴随着shuffle文件的写磁盘。 ResultStage基本上对应代码中的action算子，即将一个函数应用在RDD的各个partition的数据集上，意味着一个j
转载
2024-08-16 13:35:51
35阅读
Spark源码系列(二) Dependency&ReduceBykey源码 文章目录Spark源码系列(二) Dependency&ReduceBykey源码DependencyShuffleDependency 在Spark源码系列（一）RDD的文章中，主要提到了RDD的由来、原理以及主要的Transformation&Action算子。其中依赖和reduceBykey
转载
2023-10-05 16:09:56
58阅读
前言之前,一直在考虑,如何延续职业生涯.虽然刚入职,但是危机意识告诉我,不能当咸鱼.拒绝996的同时,也要自我学习,才不至于早早被扫地出门.哪怕考公务员也要学习[手动吃瓜].
受到我们部门leader的启发,我决定深入探讨一个工具,钻研源码,做到"精通"一个工具.
由Spark始吧.
本系列,主要参考了耿嘉安的深入理解Spark核心思想与源码分析.可以理解成我照猫画虎,更新了自己的一版本吧.
就从
转载
2024-02-29 16:57:49
67阅读
前言：spark源码分析系列 ，文中有错误的地方 请多多指正。体系架构如下，可以看出spark是一个全兼容的生态圈，不一定是最好的，但是是最全面的，一个spark生态圈就可以解决绝大多数数的大数据问题。一、spark基本概念1.Application：就是一个程序，一个jar包，一个war包，也就是通过spark-submit提交的程序2.Driver：就是为这个应用所提供的运行环境，上
转载
2023-09-27 22:15:39
91阅读
在学习spark的过程中发现很多博客对概念和原理的讲解存在矛盾或者理解不透彻，所以开始对照源码学习，发现根据概念总结去寻找对应源码，能更好理解，但随之而来的问题是好多源码看不懂，只跑example的话好多地方跑不到，但是结合测试类理解起来就方便多了。fork一份源码，在未修改源码的情况下（修改源码后，比如加注释等，在编译阶段容易报错）,使用gitbash进入项目的根目录下，执行下面2条命令使用mv
转载
2024-08-27 09:44:22
99阅读
Spark源码梳理一、程序的起点spark-submit --class com.sjh.example.SparkPi --master local[*] …/demo.jar在windows下调用spark-submit.cmd在linux下调用spark-submit脚本脚本调用顺序：1、spark-submit2、 spark-submit2.cmdspark-class2.cmd org
转载
2023-10-05 16:42:41
123阅读
