首先main方法在coredns.go内，因为这个文件导入了core/plugin.go,而core/plugin.go内导入了所有插件，所以会执行所有插件的init方法,每个插件的init方法功能都一样，就是把自己注册为caddy中名为"dns" 的server的plugincoredns.goimport (
"github.com/coredns/coredns/coremain"
/
转载
2023-07-21 19:44:09
48阅读
RDD RDD初始參数：上下文和一组依赖 abstract class RDD[T: ClassTag]( @transient private var sc: SparkContext, @transient private var deps: Seq[Dependency[_]] ) exten
转载
2017-08-04 12:02:00
71阅读
2评论
?jdk下载本文使用JDK版本为jdk1.8下载地址：https://www.oracle.com/java/technologies/downloads/archive/?获取源码下载jdk压缩包版就可以，解压后，文件路径中会有一个src.zip文件，这个就是jdk源码。 解压后就可以获得jdk源码啦。建议拷贝后换个路径再解压。如下是我存放的路径?导入IDEA☘️新建java项目使用默认配置，选
转载
2023-07-26 22:15:15
268阅读
# 如何阅读Spark源代码：新手开发者的指南
阅读Apache Spark的源代码是理解其内部机制、参与开发和优化的良好途径。然而，对刚入行的小白来说，这可能是一项艰巨的任务。本文将为你提供一个循序渐进的流程，帮助你有效地阅读Spark源代码，并理解相关概念。
## 流程概述
以下是阅读Spark源代码的步骤：
| 步骤 | 描述
/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding copyrig
原创
2017-02-04 12:14:22
96阅读
Spark SQL原理解析前言：Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述这一次要开始真正介绍Spark解析SQL的流程，首先是从Sql Parse阶段开始，简单点说，这个阶段就是使用Antlr4，将一条Sql语句解析成语法树。可能有童鞋没接触过antlr4这个内容，推荐看看《antlr4权威指南》前四章，看完起码知道antlr4能干嘛。我这里就不多介绍了。这篇首先先介
一、spark通过yarn启动的过程在spark通过yarn提交的时候，会去执行SparkSubmit的main方法。override def main(args: Array[String]): Unit = {
val submit = new SparkSubmit() {
self =>
override protected def parseArgu
转载
2023-09-06 18:27:49
172阅读
以wordcount代码为例解析Spark RDD stage划分源码程序代码:System.setProperty("hadoop.home.dir","C:\\hadoop")
val sparkConf = new SparkConf().setMaster("local").setAppName("wordCount")
sparkConf.set("spark.netw
转载
2024-05-17 15:06:38
47阅读
上一小节《TaskScheduler源代码与任务提交原理浅析2》介绍了Driver側将Stage进行划分。依据Executor闲置情况分发任务，终于通过DriverActor向executorActor发送任务消息。 我们要了解Executor的运行机制首先要了解Executor在Driver側的注
转载
2016-03-22 21:05:00
40阅读
2评论
一.本文记录内容：使用Mac，对spark源码进行编译二.前期准备：Java8、Scala2.12.11、Maven3.6.3安装配置完成；Spark3.0.0源码已下载三.编译步骤：1.修改源码中的./dev/make-distribution.sh 文件：1）修改MVN="$MAVEN_HOME/bin/mvn"2.修改spark源码的pom.xml文件，将Maven仓库改成阿里云仓库cent
转载
2023-07-05 18:11:28
216阅读
目录一、环境配置1. maven配置2. spark配置3. Scala安装二、编译安装及测试1. 编译2. 本地模式测试Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是加州大学伯克利分校的AMP实验室所开源的类Hadoop MapReduce的通用并行框架。由于Hadoop的版本是2.5，官网不提供编译版本供下载，本实例将编译源码来获得适用于Hadoop版本
就想看看spark源码
IntelliJ IDEA安装plugins,加入scala插件和SBT插件下载spark的源代码，下载地址 https://github.com/apache/spark，可以使用git下载或者下载zip包导入项目，开启 IntelliJ 之后选择 Import Project，而后选择 Spark 源代码，并将其导入
转载
2023-07-04 22:45:23
75阅读
如何编译CDH Spark源代码 经过漫长的编译过程（我编译了2个半小时），最终成功了，在assembly/target/scala-2.10目录下面有spark-assembly-1.0.0-cdh5.1.0-hadoop2.3.0-cdh5.1.0.jar文件，用rar打开看看hive jdbc
原创
2021-07-29 11:06:21
332阅读
数据源(Data Sources)Spark SQL通过DataFrame接口支持多种数据源操作。一个DataFrame可以作为正常的RDD操作，也可以被注册为临时表。1. 通用的Load/Save函数 默认的数据源适用所有操作（可以用spark.sql.sources.default设置默认值） 之后，我们就可以使用hadoop fs -ls /user/hadoopuser/在此目录下找到
转载
2024-10-26 20:05:57
47阅读
SparkContext的初始化 SparkContext是应用启动时创建的Spark上下文对象，是进行Spark应用开发的主要接口，是Spark上层应用与底层实现的中转站（SparkContext负责给executors发送task）。 SparkContext在初始化过程中，主要涉及一下内容：
转载
2017-07-29 09:16:00
172阅读
2评论
博客已经搬至http://zxdy.github.io/本文主要通过一个具体的spark application来讲述spark job执行过程中关于stage划分，stage提交，task运行的流程。主要也是因为上篇的源码阅读只有纯粹的理论，所以希望能通过这篇实战将理论讲的更清楚一点。RDDRDD，全称为Resilient Distributed Datasets，是一个容错的、并行的数据结构，
.一 .前言二 .Shuffle Write框架设计和实现2.1. BypassMergeSortShuffleWriter2.2. UnsafeShuffleWriter2.3. SortShuffleWriter三 . 输出文件验证3.1. 通用验证代码3.1.1 验证代码3.1.2 断点入口 : org.apache.spark.scheduler.ShuffleMapTask # run
转载
2023-09-18 21:41:01
71阅读
spark算是一个比较用途广泛的一个框架,dan是要想真正了解其框架还是要从其源码开始 第一步 准备spark的源码包,要有一定的scala基础 saprk源码下载 [http://spark.apache.org/downloads.html] 1.打开spark源码 执行一个动作操作 collect()开始追踪源码 按住crtal单击collect进入 这里传入的参数是this->最后执
转载
2023-09-27 20:28:47
190阅读
1 引子（环境准备）本文整体基于Spark2.4.1代码讲解，首先需要准备编译环境。1）编译环境1）scala2.11+ jdk1.8+ maven3.5+ Git2.0 + Spark2.4.1 2）windows环境（idea）2）编译准备好上述环境（自行百度安装教程），开始执行编译。切换到下载解压后的spark目录，执行maven命令:mvn -Pyarn -Phadoop-2.6 -Dsc
转载
2024-01-23 21:09:19
103阅读
spark 一、 启动篇(一) 引子 在spark-shell终端执行val arr = Array(1,2,3,4) val rdd = sc.makeRDD(arr) rdd.collect以上3行代码构成了一个完整的spark job执行。(二) 启动篇shell模式 shell模式下启动入口：org.apache.spa
转载
2023-08-09 20:19:55
36阅读
