51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 24年11月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

第17课Spark Streaming资源动态申请和动态控制消费速率原理剖析

为什么需要动态？Spark默认情况下粗粒度的，先分配好资源再计算。而Spark Streaming有高峰值和低峰值，但是他们需要的资源是不一样的，如果按照高峰值的角度的话，就会有大量的资源浪费。Spark Streaming不断的运行，对资源消耗和管理也是我们要考虑的因素。Spark Streaming资源动态调整的时候会面临挑战：Spark Streaming是按照Batch Duration运

spark
转载 精选 2016-05-31 20:50:05 582 阅读

第16课：Spark Streaming源码解读之数据清理内幕彻底解密

本篇博客的主要目的是： 1. 理清楚Spark Streaming中数据清理的流程组织思路如下： a) 背景 b) 如何研究Spark Streaming数据清理？ c) 源码解析一：背景 Spark Streaming数据清理的工作无论是在实际开发中，还是自己动手实践中都是会面临的，Spark Streaming中Batch Durat

spark
转载 精选 2016-05-30 23:33:13 739 阅读

第15课：Spark Streaming源码解读之No Receivers彻底思考

背景： 目前No Receivers在企业中使用的越来越多。No Receivers具有更强的控制度，语义一致性。No Receivers是我们操作数据来源自然方式，操作数据来源使用一个封装器，且是RDD类型的。所以Spark Streaming就产生了自定义RDD –> KafkaRDD.源码分析： 1. KafkaRDD:**  * A&

spark
转载 精选 2016-05-30 23:31:27 958 阅读

第14课：Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密

背景： 整个Spark Streaming是按照Batch Duractions划分Job的。但是很多时候我们需要算过去的一天甚至一周的数据，这个时候不可避免的要进行状态管理，而Spark Streaming每个Batch Duractions都会产生一个Job，Job里面都是RDD，所以此时面临的问题就是怎么对状态进行维护？这个时候就需要借助updateStateByKey和

spark
转载 精选 2016-05-30 23:29:21 887 阅读

第13课：Spark Streaming源码解读之Driver容错安全性

本篇博文的目标如下： 1. ReceiverBlockTracker容错安全性 2. DStream和JobGenerator容错安全性文章的组织思路如下： 考虑Driver容错安全性，我们要思考什么？ 再详细分析ReceiverBlockTracker，DStream和JobGenerator容错安全性一：容错安全性 1. ReceivedBlo

spark
转载 精选 2016-05-30 23:26:52 442 阅读

第12课：Spark Streaming源码解读之Executor容错安全性

本篇博文的目标是 1. Executor的WAL机制详解 2. 消息重放Kafka数据安全性的考虑：Spark Streaming不断的接收数据，并且不断的产生Job，不断的提交Job给集群运行。所以这就涉及到一个非常重要的问题数据安全性。Spark Streaming是基于Spark Core之上的，如果能够确保数据安全可好的话，在Spark Streaming生成Job的时

spark
转载 精选 2016-05-30 23:24:24 519 阅读

第11课：Spark Streaming源码解读之Driver中的ReceiverTracker架构设计以及具体实现彻底研究

本篇博文的目标是： Driver的ReceiverTracker接收到数据之后，下一步对数据是如何进行管理一：ReceiverTracker的架构设计 1. Driver在Executor启动Receiver方式，每个Receiver都封装成一个Task，此时一个Job中就一个Task,而Task中就一条数据，也就是Receiver数据。由此，多少个Job也就可以启动多少个Re

spark
转载 精选 2016-05-30 23:21:36 1420 阅读

第10课：Spark Streaming源码解读之流数据不断接收全生命周期彻底研究和思考

特别说明： 在上一遍文章中有详细的叙述Receiver启动的过程，如果不清楚的朋友，请您查看上一篇博客，这里我们就基于上篇的结论，继续往下说。博文的目标是： Spark Streaming在接收数据的全生命周期贯通组织思路如下： a) 接收数据的架构模式的设计 b) 然后再具体源码分析接收数据的架构模式的设计 1. 当有Spark Str

spark
转载 精选 2016-05-30 23:18:14 511 阅读

第9课：Spark Streaming源码解读之Receiver在Driver的精妙实现全生命周期彻底研究和思考

一：Receiver启动的方式设想 1. Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个Batch Durations就可以根据汇报的数据生成不同的Job。 2. Receiver属于Spark Streaming应用程序启动阶段，那么我们找Receiver在哪里启动就应该去找Spar

spark
转载 精选 2016-05-30 23:13:20 607 阅读

第7课：Spark Streaming源码解读之JobScheduler内幕实现和深度思考

一：JobSheduler的源码解析 1. JobScheduler是Spark Streaming整个调度的核心，相当于Spark Core上的DAGScheduler. 2. Spark Streaming为啥要设置两条线程？ setMaster指定的两条线程是指程序运行的时候至少需要两条线程。一条线程用于接收数据，需要不断的循环。而我们指定的线程数是用

spark
转载 精选 2016-05-30 23:09:50 419 阅读

第8课：Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考

本篇博客将详细探讨DStream模板下的RDD是如何被创建，然后被执行的。在开始叙述之前，先来思考几个问题，本篇文章也就是基于此问题构建的。 1. RDD是谁产生的？ 2. 如何产生RDD？ 带着这两个问题开启我们的探索之旅。 一：实战WordCount源码如下：object WordCount {  def 

spark
转载 精选 2016-05-30 23:06:25 470 阅读

第7课：Spark Streaming源码解读之JobScheduler内幕实现和深度思考

一：JobSheduler的源码解析 1. JobScheduler是Spark Streaming整个调度的核心，相当于Spark Core上的DAGScheduler. 2. Spark Streaming为啥要设置两条线程？ setMaster指定的两条线程是指程序运行的时候至少需要两条线程。一条线程用于接收数据，需要不断的循环。而我们指定的线程数是用

spark
转载 精选 2016-05-30 23:01:24 503 阅读

第6课：Spark Streaming源码解读之Job动态生成和深度思考

一：Spark Streaming Job生成深度思考 1. 做大数据例如Hadoop,Spark等，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就是做流处理的感觉，一切不是流处理，或者与流处理无关的数据都将是没有价值的数据，以前做批处理的时候其实也是隐形的在做流处理。 2. JobGenerator构造的时候有一个核心的参数是jo

spark
转载 精选 2016-05-30 22:57:29 274 阅读

第6课：Spark Streaming源码解读之Job动态生成和深度思考

一：Spark Streaming Job生成深度思考 1. 做大数据例如Hadoop,Spark等，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就是做流处理的感觉，一切不是流处理，或者与流处理无关的数据都将是没有价值的数据，以前做批处理的时候其实也是隐形的在做流处理。 2. JobGenerator构造的时候有一个核心的参数是jo

spark
转载 精选 2016-05-30 22:53:48 431 阅读

Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯