51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 24年11月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

第17课Spark Streaming资源动态申请和动态控制消费速率原理剖析

为什么需要动态？Spark默认情况下粗粒度的，先分配好资源再计算。而Spark Streaming有高峰值和低峰值，但是他们需要的资源是不一样的，如果按照高峰值的角度的话，就会有大量的资源浪费。Spark Streaming不断的运行，对资源消耗和管理也是我们要考虑的因素。Spark Streaming资源动态调整的时候会面临挑战：Spark Streaming是按照Batch Duration运

spark
转载 精选 2016-05-31 20:50:05 582 阅读

第16课：Spark Streaming源码解读之数据清理内幕彻底解密

本篇博客的主要目的是： 1. 理清楚Spark Streaming中数据清理的流程组织思路如下： a) 背景 b) 如何研究Spark Streaming数据清理？ c) 源码解析一：背景 Spark Streaming数据清理的工作无论是在实际开发中，还是自己动手实践中都是会面临的，Spark Streaming中Batch Durat

spark
转载 精选 2016-05-30 23:33:13 740 阅读

第15课：Spark Streaming源码解读之No Receivers彻底思考

背景： 目前No Receivers在企业中使用的越来越多。No Receivers具有更强的控制度，语义一致性。No Receivers是我们操作数据来源自然方式，操作数据来源使用一个封装器，且是RDD类型的。所以Spark Streaming就产生了自定义RDD –> KafkaRDD.源码分析： 1. KafkaRDD:**  * A&

spark
转载 精选 2016-05-30 23:31:27 958 阅读

第14课：Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密

背景： 整个Spark Streaming是按照Batch Duractions划分Job的。但是很多时候我们需要算过去的一天甚至一周的数据，这个时候不可避免的要进行状态管理，而Spark Streaming每个Batch Duractions都会产生一个Job，Job里面都是RDD，所以此时面临的问题就是怎么对状态进行维护？这个时候就需要借助updateStateByKey和

spark
转载 精选 2016-05-30 23:29:21 887 阅读

第13课：Spark Streaming源码解读之Driver容错安全性

本篇博文的目标如下： 1. ReceiverBlockTracker容错安全性 2. DStream和JobGenerator容错安全性文章的组织思路如下： 考虑Driver容错安全性，我们要思考什么？ 再详细分析ReceiverBlockTracker，DStream和JobGenerator容错安全性一：容错安全性 1. ReceivedBlo

spark
转载 精选 2016-05-30 23:26:52 442 阅读

第12课：Spark Streaming源码解读之Executor容错安全性

本篇博文的目标是 1. Executor的WAL机制详解 2. 消息重放Kafka数据安全性的考虑：Spark Streaming不断的接收数据，并且不断的产生Job，不断的提交Job给集群运行。所以这就涉及到一个非常重要的问题数据安全性。Spark Streaming是基于Spark Core之上的，如果能够确保数据安全可好的话，在Spark Streaming生成Job的时

spark
转载 精选 2016-05-30 23:24:24 519 阅读

第11课：Spark Streaming源码解读之Driver中的ReceiverTracker架构设计以及具体实现彻底研究

本篇博文的目标是： Driver的ReceiverTracker接收到数据之后，下一步对数据是如何进行管理一：ReceiverTracker的架构设计 1. Driver在Executor启动Receiver方式，每个Receiver都封装成一个Task，此时一个Job中就一个Task,而Task中就一条数据，也就是Receiver数据。由此，多少个Job也就可以启动多少个Re

spark
转载 精选 2016-05-30 23:21:36 1421 阅读

第10课：Spark Streaming源码解读之流数据不断接收全生命周期彻底研究和思考

特别说明： 在上一遍文章中有详细的叙述Receiver启动的过程，如果不清楚的朋友，请您查看上一篇博客，这里我们就基于上篇的结论，继续往下说。博文的目标是： Spark Streaming在接收数据的全生命周期贯通组织思路如下： a) 接收数据的架构模式的设计 b) 然后再具体源码分析接收数据的架构模式的设计 1. 当有Spark Str

spark
转载 精选 2016-05-30 23:18:14 513 阅读

第9课：Spark Streaming源码解读之Receiver在Driver的精妙实现全生命周期彻底研究和思考

一：Receiver启动的方式设想 1. Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个Batch Durations就可以根据汇报的数据生成不同的Job。 2. Receiver属于Spark Streaming应用程序启动阶段，那么我们找Receiver在哪里启动就应该去找Spar

spark
转载 精选 2016-05-30 23:13:20 607 阅读

第7课：Spark Streaming源码解读之JobScheduler内幕实现和深度思考

一：JobSheduler的源码解析 1. JobScheduler是Spark Streaming整个调度的核心，相当于Spark Core上的DAGScheduler. 2. Spark Streaming为啥要设置两条线程？ setMaster指定的两条线程是指程序运行的时候至少需要两条线程。一条线程用于接收数据，需要不断的循环。而我们指定的线程数是用

spark
转载 精选 2016-05-30 23:09:50 419 阅读

第8课：Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考

本篇博客将详细探讨DStream模板下的RDD是如何被创建，然后被执行的。在开始叙述之前，先来思考几个问题，本篇文章也就是基于此问题构建的。 1. RDD是谁产生的？ 2. 如何产生RDD？ 带着这两个问题开启我们的探索之旅。 一：实战WordCount源码如下：object WordCount {  def 

spark
转载 精选 2016-05-30 23:06:25 468 阅读

第7课：Spark Streaming源码解读之JobScheduler内幕实现和深度思考

一：JobSheduler的源码解析 1. JobScheduler是Spark Streaming整个调度的核心，相当于Spark Core上的DAGScheduler. 2. Spark Streaming为啥要设置两条线程？ setMaster指定的两条线程是指程序运行的时候至少需要两条线程。一条线程用于接收数据，需要不断的循环。而我们指定的线程数是用

spark
转载 精选 2016-05-30 23:01:24 503 阅读

第6课：Spark Streaming源码解读之Job动态生成和深度思考

一：Spark Streaming Job生成深度思考 1. 做大数据例如Hadoop,Spark等，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就是做流处理的感觉，一切不是流处理，或者与流处理无关的数据都将是没有价值的数据，以前做批处理的时候其实也是隐形的在做流处理。 2. JobGenerator构造的时候有一个核心的参数是jo

spark
转载 精选 2016-05-30 22:57:29 274 阅读

第6课：Spark Streaming源码解读之Job动态生成和深度思考

一：Spark Streaming Job生成深度思考 1. 做大数据例如Hadoop,Spark等，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就是做流处理的感觉，一切不是流处理，或者与流处理无关的数据都将是没有价值的数据，以前做批处理的时候其实也是隐形的在做流处理。 2. JobGenerator构造的时候有一个核心的参数是jo

spark
转载 精选 2016-05-30 22:53:48 431 阅读

第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

package com.dt.spark.streaming_scalaimport org.apache.spark.SparkConfimport org.apache.spark.sql.Rowimport org.apache.spark.sql.hive.HiveContextimport org.apache.spark.sql.types.{IntegerType, StringTy

spark
翻译 精选 2016-05-07 21:53:51 525 阅读 1收藏

第3课：通过案例对SparkStreaming 透彻理解三板斧之三：解密SparkStreaming运行机制和架构进阶之Job和容错

理解Spark Streaming的Job的整个架构和运行机制对于精通Spark Streaming是至关重要的。一 首先我们运行以下的程序，然后通过这个程序的运行过程进一步加深理解Spark Streaming流处理的Job的执行的过程，代码如下：object OnlineForeachRDD2DB {  def main(args: Array[String]){  &nb

Spark
spark
原创 2016-05-07 21:33:29 441 阅读

第3课：通过案例对SparkStreaming 透彻理解三板斧之三：解密SparkStreaming运行机制和架构进阶之Job和容错

理解Spark Streaming的Job的整个架构和运行机制对于精通Spark Streaming是至关重要的。一 首先我们运行以下的程序，然后通过这个程序的运行过程进一步加深理解Spark Streaming流处理的Job的执行的过程，代码如下：object OnlineForeachRDD2DB {  def main(args: Array[String]){  &nb

Spark
spark
原创 2016-05-07 21:30:33 515 阅读

第2课：通过案例对SparkStreaming 透彻理解三板斧之二：解密SparkStreaming运行机制和架构

Spark Streaming是Spark的一个子框架，但是它更像是运行在Spark Core上的一个应用程序。Spark Streaming在启动时运行了很多的job，并且job之间相互配合。Job围绕了两个方面：1. 对输入数据流进行计算的Job2. 框架自身运行需要的Job，例如Receiver启动。Spark Streaming本身就是一个非常复杂的应用程序，如果你对SparkStream

Spark
spark
原创 2016-05-07 18:40:50 578 阅读

第4课：Spark Streaming的Exactly-Once的事务处理和不重复输出彻底掌握

前置知识：1、事务的特征：1)、处理且仅被处理一次；2)、输出且只被输出一次2、SparkStreaming进行事务处理有没有可能处理完全失败？   这个可能性不大，因为Spark是批处理的方式来进行流处理，在SparkStreaming应用程序启动的时候，已经为应用程序分配了相关的资源，而且在调度的过程中可以动态的分配资源，所以除非整个集群所有的硬件都奔溃了，否则一般情况下都

Spark
Streaming
Exactly
原创 2016-05-07 17:55:59 2280 阅读

第1课：通过案例对Spark Streaming透彻理解三板斧之一Spark Streaming另类实验及本质解析

一. 源码定制为什么从Spark Streaming切入？Spark 一开始并没我们今天看到的Spark SQL, Spark Streaming, MLlib(machine learning), GraphX(graph)， Spark R等相关内容,只有原始的Spark Core。 Spark Streaming本身是Spark Core上的一个框架，透过一个框架的彻底研究肯定可以精通Spa

Spark
spark
原创 2016-05-02 22:29:17 1204 阅读

Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯