Spark Structured Streaming 结构化流Structured Streaming是一个构建在Spark SQL基础上可靠具备容错处理的流处理引擎。Structured Streaming提供快速，可扩展，容错，端到端的精确一次流处理，而无需用户推理流式传输。流数据处理的三种语义：最少一次（at least once）： 流数据中的记录最少会被处理一次（1-n）最多一次（at
转载
2024-07-20 18:01:23
38阅读
spark+java数据结构Kryo 序列化框架RDD依赖关系RDD血缘关系RDD 依赖关系RDD 窄依赖RDD 宽依赖RDD 阶段划分任务划分源码排序时间复杂度度量一个程序(算法)执行时间的两种方法常见复杂度平均时间复杂度和最坏时间复杂度空间复杂度冒泡排序选择排序插入排序希尔排序快速排序归并排序 Kryo 序列化框架Java 的序列化能够序列化任何的类。但是比较重（字节多），序列化后，对象的提
转载
2024-01-14 08:14:23
46阅读
作者：个推数据研发工程师 学长
1 业务背景 随着大数据的快速发展，业务场景越来越复杂，离线式的批处理框架MapReduce已经不能满足业务，大量的场景需要实时的数据处理结果来进行分析、决策。Spark Streaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处理，不仅可以实现用户行为分析，还能在金融、舆情分析、网
马上要过年了，大部分公司这个时候都不会再去谋求开新业务，而大数据工匠们，想要过好年，就要保证过年期间自己对自己的应用了如执掌。一般公司都会有轮值人员，至少要有春节应急预案，尤其是对于我们这些搞平台，或者线上应用的，应急预案更是必不可少。今天浪尖主要是分享一下关于在yarn上的spark 任务我们应该做哪些监控，如何监控。Spark on yarn这种应用形态目前在企业中是最为常见的，对于这种spa
通过SparkStreamingListener监控程序过往记忆大数据过往记忆大数据本ppt来自于4月23-25日举行的Spark+AISummit2019。作者来自SPOTX公司，该公司大量使用到了SparkStreaming，其每天处理数十亿条记录，监控是很重要的。所以该公司的开发人员利用StreamingListeners来监控他们的程序，他们利用这个把Kafka的消费偏移量保存到MySQL
原创
2021-03-31 19:21:27
288阅读
通过SparkStreamingListener监控程序过往记忆大数据过往记忆大数据本ppt来自于4月23-25日举行的Spark+AISummit2019。作者来自SPOTX公司，该公司大量使用到了SparkStreaming，其每天处理数十亿条记录，监控是很重要的。所以该公司的开发人员利用StreamingListeners来监控他们的程序，他们利用这个把Kafka的消费偏移量保存到MySQL
原创
2021-04-03 16:02:04
852阅读
本ppt来自于4月23-25日举行的 Spark + AI Summit 2019。作者来自 SPOTX公司，该公司大量使用到了 Spark Streaming，其每天处理数十亿条记录，监控是很重要的。所以该公司的开发人员利用 Streaming Listeners 来监控他们的程序，他们利用这个把 Kafka 的消费偏移量保存到 MySQL，并将处理的每个批次处理的消息数写入到 Influx，然
原创
2021-04-06 09:31:20
241阅读
Listener叫监听器，主要用来监听之用。通过Listener可以监听容器中某一执行动作，并根据其要求作出相应的响应。共包含八个Listener接口，分为三类：第一类：与ServletContext有关的Listener接口，分别是ServletContextListener和ServletContextAttributeListener. （1）ServletContextList
转载
精选
2014-12-27 16:58:19
462阅读
更好的理解spark——spark通信架构此篇摘抄自某教程的ppt，希望大家可以更深刻的理解sparkspark既然是分布式集群，那么他的master和worker节点之间是怎么进行通信的？spark1.3之前的通信框架是什么？之后为什么不使用这个通信框架了？1、Spark内部的通信架构使用Actor模型进行开发，在Spark1.3之前直接使用AKKA来作为具体的通信框架。为了解决shuffle过
转载
2023-09-21 07:42:02
103阅读
Listener 表示监听器，是 JavaWeb 三大组件(Servlet、Filter、Listener)之一。监听器可以监听就是在 ，， 三个对象创建、销毁或者往其中添加修改删除属性时自动执行代码的功能组件。request 和 session 我们已经了解。而 是 类型对象的创建和销毁。 接口中有
原创
2022-08-05 21:41:31
72阅读
：
（2）public interface HttpSessionListener extends java.util.EventListener
sessionCreated(HttpSessionEvent se)
sessionDestroyed(HttpSessionEvent se)
（5可以看出servlet移除\过期 当然，使用Listen
转载
精选
2004-12-14 16:45:00
418阅读
18-Listener-监听器的介绍19-Listener-监听对象的监听器介绍20-Listener-监听域对象属性变化的监听器介绍21-Listener-监听会话相关的感知型监听介绍22-Listener-ServletContextListener监听器的使用23-Listener-ServletContextAttributeListener监听器的使用...
原创
2021-08-02 15:05:11
132阅读
Spark是一个分布式内存计算框架。关键词：分布式，内存。因此学习它要学习它的分布式架构以及它实现高速并行计算的机理。架构主从结构所谓分布式就是网络中多个主机上可以同时协同工作。所有的分布式框架，无论用于存储还是计算，分布式结构是前提。大部分分布式框架都是主从式结构。（HDFS是namenode-datanode，YARN是ResourceManager-NodeManager. ）作为“主”，需
转载
2023-08-16 06:32:56
356阅读
前言
在Spark初认识中，我们了解到了，Spark是一个一栈式的大数据处理生态系统，其核心的组件Spark Core，Spark Sql，SparkStreaming分别解决了大数据中的数据处理的批处理，交互式查询，实时查询的业务场景。Spark的核心是Spark core，其他的组件都是基于Spark Core的，那么，问题来了。
问题：
Spark的核心模块是Spa
转载
2023-08-30 12:08:29
36阅读
Spark基础及架构一、为什么使用Spark二、Spark优势三、Spark技术栈四、Spark架构设计五、Spark架构核心组件六、Spark API1.SparkContext2.SparkSession3.Spark RDD4.Spark RDD概念七、Spark RDD的创建八、Spark RDD分区九、Spark RDD的操作1.RDD转换算子2.RDD动作算子 一、为什么使用Spar
转载
2023-07-13 19:18:45
50阅读
1 架构及生态通常当需要处理的数据量超过了单机尺度(比如我们的计算机有4GB的内存，而我们需要处理100GB以上的数据)这时我们可以选择spark集群进行计算，有时我们可能需要处理的数据量并不大，但是计算很复杂，需要大量的时间，这时我们也可以选择利用spark集群强大的计算资源，并行化地计算，其架构示意图如下：对于一些部分的解释：SparkCore：包含Spark的基本功能；尤其是定义
转载
2023-07-24 14:47:20
60阅读
spark采用的是主从式的架构，主节点叫master，从节点是workerDriver我们编写的spark就在Driver上，由driver进程执行。
Driver是spark集群的节点之一，或你提交spark程序的机器Mastermaster是集群的资源管理者和调度者，类似yarn里面的ResourceManger，还负责监控整个集群的监控状况Worker用自己的内存缓存RDD数据
使用内存对p
转载
2023-07-19 14:06:39
45阅读
