Spark_2016的博客_Spark版本定制

(版本定制)第18课：Spark Streaming中空RDD处理及流处理程序优雅的停止

本期内容： 1. Spark Streaming中RDD为空处理 2. Streaming Context程序停止方式 Spark Streaming运用程序是根据我们设定的Batch Duration来产生RDD，产生的RDD存在partitons数据为空的情况，但是还是会执行

stop

Spark

Streaming

原创 2016-06-14 14:12:04 2456 阅读 1评论

(版本定制)第17课：Spark Streaming资源动态申请和动态控制消费速率原理剖析

本期内容： 1、Spark Streaming资源动态分配 2、Spark Streaming动态控制消费速率为什么需要动态？ a)Spark默认情况下粗粒度的，先分配好资源再计算。对于Spark Streaming而言有高峰值和低峰值，但是他们需要的资源是不一样的，如果按照高峰值的角度的话，就会有大量的资源浪费。 b) Sp

Spark

Streaming 动态资源

原创 2016-06-09 08:09:00 979 阅读

(版本定制)第16课：Spark Streaming源码解读之数据清理内幕彻底解密

本期内容： 1、Spark Streaming元数据清理详解 2、Spark Streaming元数据清理源码解析一、如何研究Spark Streaming元数据清理操作DStream的时候会产生元数据，所以要解决RDD的数据清理工作就一定要从DStream入手。因为DStream是RDD的模板，DStream之间有依赖关系。 DStr

元数据

Spark

Streaming

原创 2016-06-01 22:01:20 855 阅读 1收藏

(版本定制)第15课：Spark Streaming源码解读之No Receivers彻底思考

hu本期内容： 1、Kafka解密背景：目前No Receivers在企业中使用的越来越多，No Receivers具有更强的控制度，语义一致性。No Receivers是我们操作数据来源自然方式，操作数据来源使用一个封装器，且是RDD类型的。所以Spark Streaming就产生了自定义RDD –> KafkaRDD.源码分析：1、KafkaRDD源

Spark

Streaming

Kafka

原创 2016-05-31 20:59:19 1130 阅读

(版本定制)第14课：Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密

本期内容： 1、updateStateByKey解密 2、mapWithState解密背景：整个Spark Streaming是按照Batch Duractions划分Job的。但是很多时候我们需要算过去的一天甚至一周的数据，这个时候不可避免的要进行状态管理，而Spark Streaming每个Batch Duractions都会产生一

State

Spark

Streaming

原创 2016-05-28 17:24:42 565 阅读

(版本定制)第13课：Spark Streaming源码解读之Driver容错安全性

本期内容：1. ReceiverBlockTracker容错安全性 2. DStream和JobGenerator容错安全性一：容错安全性 1. ReceivedBlockTracker负责管理Spark Streaming运行程序的元数据。数据层面 2. DStream和JobGenerator是作业调度的核心层面，也就是具体调度到什么程度了，从运行的考虑的。DSt

Driver

Spark

Streaming

原创 2016-05-25 13:46:14 1741 阅读

(版本定制)第12课：Spark Streaming源码解读之Executor容错安全性

本期内容： 1、Executor的WAL容错机制 2、消息重放Executor的安全容错主要是数据的安全容错，那为什么不考虑数据计算的安全容错呢？原因是计算的时候Spark Streaming是借助于Spark Core上RDD的安全容错的，所以天然的安全可靠的。Executor的安全容错主要有： 1、数据副本：&nbs

Executor

Spark

Streaming

原创 2016-05-23 16:45:29 568 阅读

(版本定制)第11课：Spark Streaming源码解读之Driver中的ReceiverTracker彻底研究和思考

本期内容： 1、ReceiverTracker的架构设计 2、消息循环系统 3、ReceiverTracker具体实现上节课讲到了Receiver是如何不断的接收数据的，并且接收到的数据的元数据会汇报给ReceiverTracker，下面我们看看ReceiverTracker具体的功能及实现。ReceiverTracke

Spark

Streaming

Receiver

原创 2016-05-22 23:00:27 511 阅读

(版本定制)第10课：Spark Streaming源码解读之流数据不断接收全生命周期彻底研究和思考

本期内容： 1、数据接收架构设计模式 2、数据接收源码彻底研究1、Receiver接受数据的过程类似于MVC模式：Receiver，ReceiverSupervisor和Driver的关系相当于Model，Control，View，也就是MVC。Model就是Receiver，存储数据Control，就是ReceiverSupervisor，Dr

Spark

Streaming

Receiver

原创 2016-05-22 11:59:57 531 阅读

(版本定制)第9课：Spark Streaming源码解读之Receiver在Driver的精妙实现全生命周期彻底研究和思考

本期内容： 1、Receiver启动方式的设想 2、Receiver启动源码彻底分析一：Receiver启动方式的设想 1. Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个Batch Durations就可以根据汇报的数据生成不同的Job。&n

Spark

Streaming

Receiver

原创 2016-05-21 22:09:35 654 阅读

(版本定制)第8课：Spark Streaming源码解读之RDD生成生命周期彻底研究和思考

本篇博客将详细探讨DStream模板下的RDD是如何被创建，然后被执行的。在开始叙述之前，先来思考几个问题，本篇文章也就是基于此问题构建的。 1. RDD是谁产生的？ 2. 如何产生RDD？带着这两个问题开启我们的探索之旅。DStream是RDD的模板，每隔一个Batch Interval会根据DStream模板生成一个对应的RDD，然后将RDD存储到DStream

Spark

streaming

RDD

原创 2016-05-21 11:33:24 654 阅读 1收藏

(版本定制)第7课：Spark Streaming源码解读之JobScheduler内幕实现和深度思考

本期内容： 1、JobScheduler内幕实现 2、JobScheduler深度思考JobScheduler是Spark Streaming的调度核心，地位相当于Spark Core上调度中心的DAG Scheduler，非常重要！JobGenerator每隔Batch Duration时间会动态的生成JobSet提交给JobScheduler

Spark

Streaming

JobScheduler

原创 2016-05-20 06:28:14 586 阅读

(版本定制)第6课：Spark Streaming源码解读之Job动态生成和深度思考

本期内容： 1、Spark Streaming Job生成深度思考 2、Spark Streaming Job生成源码解析本节课主要是针对Job如何产生进行阐述在Spark Streaming里，总体负责动态作业调度的具体类是JobScheduler:/** * This class schedules jobs to be run on Spa

Spark

Streaming

源码解读

原创 2016-05-15 12:42:46 957 阅读

(版本定制)第5课：基于案例分析Spark Streaming流计算框架的运行源码

Spark

Streaming

流计算

原创 2016-05-08 15:13:01 1664 阅读

(版本定制)第4课：Spark Streaming事务处理彻底详解

本篇文章主要从二个方面展开：一、Exactly Once二、输出不重复事务：银行转帐为例，A用户转账给B用户，B用户可能收到多笔钱，如何保证事务的一致性，也就是说事务输出，能够输出且只会输出一次，即A只转一次，B只收一次。从事务视角解密SparkStreaming架构： SparkStreaming应用程序启动，会分配资源，除非整个集群硬件资源奔溃，一般情况下都不会有问题

事务处理

Spark

Streaming

原创 2016-05-06 15:40:38 771 阅读

(版本定制)第3课：从作业和容错的角度来理解Spark Streaming

本节课内容： 1、Spark Streaming Job架构和运行机制 2、Spark Streaming Job容错架构和运行机制理解Spark Streaming Job整个架构和运行机制对于精通Spark Streaming来说是至关重要的。一、首先我们运行以下程序，然后通过这个程

作业

Spark

Streaming

原创 2016-05-05 11:13:57 600 阅读

(版本定制)第2课：通过案例对SparkStreaming透彻理解之二

本期内容：1 解密Spark Streaming运行机制2 解密Spark Streaming架构　　一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。Spark Streaming运行时与其说是Spark Core上

Spark

Streaming

透彻理解

原创 2016-05-03 17:29:20 496 阅读 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

DT_Spark大数据梦工厂

(版本定制)第18课：Spark Streaming中空RDD处理及流处理程序优雅的停止

(版本定制)第17课：Spark Streaming资源动态申请和动态控制消费速率原理剖析

(版本定制)第16课：Spark Streaming源码解读之数据清理内幕彻底解密

(版本定制)第15课：Spark Streaming源码解读之No Receivers彻底思考

(版本定制)第14课：Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密

(版本定制)第13课：Spark Streaming源码解读之Driver容错安全性

(版本定制)第12课：Spark Streaming源码解读之Executor容错安全性

(版本定制)第11课：Spark Streaming源码解读之Driver中的ReceiverTracker彻底研究和思考

(版本定制)第10课：Spark Streaming源码解读之流数据不断接收全生命周期彻底研究和思考

(版本定制)第9课：Spark Streaming源码解读之Receiver在Driver的精妙实现全生命周期彻底研究和思考

(版本定制)第8课：Spark Streaming源码解读之RDD生成生命周期彻底研究和思考

(版本定制)第7课：Spark Streaming源码解读之JobScheduler内幕实现和深度思考

(版本定制)第6课：Spark Streaming源码解读之Job动态生成和深度思考

(版本定制)第5课：基于案例分析Spark Streaming流计算框架的运行源码

(版本定制)第4课：Spark Streaming事务处理彻底详解

(版本定制)第3课：从作业和容错的角度来理解Spark Streaming

(版本定制)第2课：通过案例对SparkStreaming透彻理解之二