Spark的龙脉/关键点就是Spark Streaming

Spark Streaming更像Spark Core上的一个应用程序,就是最复杂的应用程序


我们现在到官网看下:

wKiom1cu0HzyWWyRAADrC-XzLPM920.png


学习Spark的最佳的入手点是Spark Streaming

wKioL1cu0VnRpmZtAABnxQdh_w8440.png

循环的依据就是时间

wKiom1cu0KCSYmwJAALl2iPZEd0715.png


wKioL1cu0X_xhMgHAACNa_loMjU512.png


SparkStreaming运行机制和架构图:


wKioL1cu0YHA4bVKAAC2w5YmVUo600.png

补充说明:

Spark Streaming 只不过是在RDD的基础上加上了时间的维度,我们现在加上了空间的维度.

Event 就构成了数据的集合,而RDD是基于固定不变的数据集合生成的.

每个RDD 的DAG间隔关系是基于Event中的时间间隔.

其实还是个RDD DAG的依赖,不会现在具体有多少Job.

随着时间的流逝DStream不断的去填充这个模板.


wKioL1cu0YvjM1iBAALAP2q2F7w670.png

所以我们现在知道了:

1.我们要有静态的DStream模板,这个模板就是 DStream Graph

2.我们要有动态的Job控制器,这个Job的控制器会根据我们设定的时间间隔,搜集到数据,让我们的DStream Graph 活起来就变成了RDD Graph


Spark Streaming 容错:

RDD 怎么容错,Spark Streaming 就怎么容错;Spark Streaming 还可能采用一种限流的方式;在处理过程中,有可能根据需要进行资源的调整.

wKioL1cu0ZnRosqeAAK3gNJZd4c402.png


wKiom1cu0MSya-hAAACzNNSfyHY770.png


wKioL1cu0aTBkJHLAAHjLUHrVnM535.png

DStream是逻辑级别的,RDD是物理级别的;可以在处理的时候任务是对流的转换,但其实根本就没有DStream这回事.

DStream是RDD的模板,随着时间的流逝DStream 中其实就是一系列的RDD,对DStream的操作就是对一个个的RDD的操作.

DStream就是对RDD操作的封装。

这个依赖关系就是RDD依赖的模板

wKiom1cu0NWwYNTxAAMQs_8UwIc123.png


wKioL1cu0b-Tm58EAALa9x6BrK8465.png

RDD与DStream的关系:DStream 随着时间的操作不断的产生RDD


DStream是逻辑级别的,RDD 是物理级别的,DStream 是更高级别的抽象,RDD 是底层的实现。只不过这个逻辑级别的抽象实现了更高级别的抽象,DStream 随着时间的维度,会有一系列的RDD. 即:我弄一个类,这个类里面随着时间的流逝有RDD. 或者说,我弄一个类随着时间的集合去封装RDD. 就是搞一个集合随着时间维度不断地生成RDD. 对一个集合的操作,转过来作用于对一个RDD的操作( 即转到内部成员的操作),就是做一个集合,然后作用于集合里面的每个元素。

你就认为DStream 就是对RDD的一个封装的集合,对DStream的Transferance的操作就会作用于他内部封装的集合的每一个RDD.所以对RDD的操作就产生了对RDD的依赖关系,就构成了DAG之间的依赖关系。

而为什么会对这个RDD进行操作,这个是由你对DStream操作的业务逻辑也就是空间维度决定的,这个空间维度作用于DStream这样一个集合,随着时间的流逝,Batch Interval产生了对每个Batch Interval数据,基于这个数据产生的RDD的Transfer操作,进而产生了RDD DAG 的依赖关系,然后随着他的JobSchedular根据实际调度,基于这个RDD依赖关系把作业发布到集群上去运行,然后就不断地产生Spark Job.


备注:

这是我的Spark版本定制班学习笔记

更多私密内容,请关注微信公众号:DT_Spark

如果您对大数据Spark感兴趣,可以免费听由王家林老师每天晚上20:00开设的Spark永久免费公开课,地址YY房间号:68917580