spark源码单步跟踪阅读-从毛片说起
火星 浪尖聊大数据 想当年读大学时，那时毛片还叫毛片，现在有文明的叫法了，叫小电影或者爱情动作片。那时宿舍有位大神，喜欢看各种毛片，当我们纠结于毛片上的马赛克时，大神大手一挥说道：这算啥，阅尽天下毛片，心中自然无码！突然想到我们在学习spark时，也可以有这种精神，当我们能读懂spark源码时，spark的技术世界也就真正为我们敞开了大门。台湾C++大师侯捷说过：源码面前，了无秘密！那我们就从如何单步调试spark源码开始讲起吧。
首先开发工具推荐大家选择IntelliJ，Intellij在和scala语言的结合上，比eclipse要好出太多了，其高效的文件索引机制，也可以让我们非常快速的定位源码。不要太担心快捷键的问题，IntelliJ为了拉eclipse的用户过来，可以将快捷键映射为eclipse常用快捷键，学习成本低了很多。
1.本地调试
- app代码
package com.tencent.cubeli.sparksql
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SparkSession
object DataFrameCreate {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local").setAppName("df create")
val sc = new SparkContext(conf)
val spark = SparkSession.builder().appName("Spark SQL basic example").config("spark.some.config.option", "some-value").getOrCreate()
import spark.implicits._
val df = spark.read.json("file:///Users/waixingren/bigdata-java/spark/sparkproj/data/nation.json")
df.filter($"nationkey"<9).
groupBy("regionkey").
count.
show()
}
}
* 在app中设置断点，如下图所示：
- 调试，点下图的虫子标志
在提交了运行之后，程序会在断点处停止，等待单步调试，如下图所示：
点击step in，我们就可以进入到这个filter方法内部进行源码的跟踪了。
2.远程调试 当我们的代码提交到yarn上之后，就是一个分布式运行的模式了，这时就没法通过IDE去启动本地的单步调试，这时就需要使用远程调试方式。这种方式eclipse也有，并不是ideallij独有的，而是java语言为我们提供的，IDE工具只不过利用了这个特性而已。远程调试步骤如下：
-
源码下载 我们后期在知识星球上陆陆续续的源码讲解，都是基于Spark 2.3.0这个版本，下载地址： http://spark.apache.org/downloads.html 在下拉框选择2.3.0和Source Code
-
源码编译 源码编译的主要目的是为了方便我们后期对spark的二次开发，如果没有二次开发的需求，知识想单步调试spark源码，那么这一步也是可以省略的。 对源码包进行解压，进入源码包根目录，编译命令：
把这个编译 后的工程导入到intellij，步骤如下
一路点击next，可以根据实际情况进行修改，不修改也可以，最后点完成，执行spark源码导入，idealilij会进行该工程的依赖解析，等解析完成后就可以在package试图看到该工程的包试图，说明导入成功。
（导入后intellij要进行工程的依赖解析，但是因为我们之前进行过编译，需要的依赖包已经从远程maven仓库下载到了本地，所以这里的依赖接下没有下载过程，只是一个简单的的本地解析） -
配置远程调试 点击Edit Configurations...
点击“+”，选择remote
配置jvm远程调试选项，主要是host和port需要修改成spark进程所在的host和jmx端口号，如下图，可以修改“Name：”，“Host”，“Port”，这里的host一定要是spark运行的主机，port需要是远程没有被使用的端口，并且要记住此端口，待会要用。
配置完之后保存。
在spark-defaults.conf文件中添加以下配置：
spark.driver.extraJavaOptions -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005
spark.executor.extraJavaOptions -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=5005
关于这个配置的两点说明：
- 其中的spark.driver.extraJavaOptions是用来调试driver的，spark.executor.extraJavaOptions是用来调试executor的，如果driver和executor不在同一个节点，那么端口可以相同，如果在同一个节点，那么端口不能一样。
- 如果suspend=y，说明spark进程在启动时会挂起来，等待ideallij远程连接成功之后在继续启动；如果是n，那么不用等待ideallij远程连接，就启动，但是会一直监听这个端口，等待ideallij远程连接。
- 远程连接并调试 等spark进程挂起或者启动成功之后（根据suspend是y或者n来决定），在ideallij中设置断点，并启动刚才配置的远程连接，就可以连接到spark的jvm进程上，并进行远程的单步调试了 。
