1. Spark是什么？Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib用于机器学习，Spark GraphX用于图计算
转载
2023-07-14 14:25:35
94阅读
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器。 &
转载
2023-07-12 14:54:49
141阅读
文章目录一、HDFS写数据流程1. 剖析文件写入2. 网络拓扑-节点距离计算3. 机架感知（副本存储节点选择）二、HDFS读数据流程 前言：在《Hadoop系列》的第一篇博文里，就已经提到了 【hadoop】（一）分布式文件系统 HDFS，但作为面试中经常遇到的数据流的问题，特地拎出来专门写一篇文章，详细解读 HDFS 数据流的知识点，帮助小伙伴们跳出面试中的那些大坑。 一、HDFS写数据流程
转载
2023-09-20 10:37:59
75阅读
随着物联网（IoT）、金融交易、日志监控等领域的快速发展，时间序列数据（如传感器采集的时序信号、股票交易记录）呈
1. MapReduce 与 HDFS 简介 什么是 Hadoop ？ Google 为自己的业务需要提出了编程模型 MapReduce 和分布式文件系统 Google File System，并发布了相关论文（可在 Google Research 的网站上获得：GFS、MapReduce）。Doug Cutting 和 Mike Cafarella 在开发搜索引擎 Nutch 时对这两篇论文
转载
2023-11-18 23:33:44
104阅读
目录一、Spark Streaming 是什么 ?二、Spark Streaming 的特点二、Spark Streaming 架构1. 架构图2. 背压机制 一、Spark Streaming 是什么 ? Spark 流使得构建可扩展的容错流应用程序变得更加容易。Spark Streaming 用于流式数据的处理。Spark Streaming 支持的数据输入源很多，例如：Kafka、Flum
转载
2023-08-08 07:49:31
71阅读
总结自——吃透实时流计算 文章目录1. 流计算通用架构数据采集模块数据传输模块数据处理模块数据存储模块2. 流计算本质：NIO+异步NIO如何优化IO和CPU都密集的任务异步编程3. 反压机制4. 死锁：为什么流计算应用突然卡住，不处理数据了?5. 流处理架构1. Lambda架构2. kappa架构 1. 流计算通用架构流计算系统通常包含五个部分：数据采集、数据传输、数据处理、数据存储和数据展现
转载
2024-05-30 10:59:34
287阅读
转载
2014-11-15 09:52:00
143阅读
2评论
前言：作为一个程序猿，总是能不时地听到各种新技术名词，大数据、云计算、实时处理、流式处理、内存计算… 但当我们听到这些时髦的名词时他们究竟是在说什么？偶然搜到一个不错的帖子，就总结一下实时处理和流式处理的差别吧。正文：要说实时处理就得先提一下实时系统(Real-timeSystem)。所谓实时系统就
转载
2017-05-08 09:10:00
471阅读
2评论
一、Streaming与Flume的联调Spark 2.2.0 对应于 Flume 1.6.0两种模式：1. Flume-style push-based approach：Flume推送数据給StreamingStreaming的receiver作为Flume的Avro agentSpark workers应该跑在Flume这台机器上Streaming先启动，receiver监听Flume pu
转载
2024-02-06 21:13:03
61阅读
Spark Streaming实时数据流处理一、Spark Streaming基础 1、Spark Streaming简介http://spark.apache.org/docs/latest/streaming-programming-guide.htmlSpark Streaming是核心Spark API的扩展，可实现可扩展、高吞吐量、可容错的实时数据流处理。数据可以从诸如Kafka，Flu
转载
2024-05-28 19:41:10
44阅读
一、前言1、从今天开始进行流式大数据计算的实践之路，需要完成一个车辆实时热力图2、技术选型：HBase作为数据仓库，Storm作为流式计算框架，ECharts作为热力图的展示3、计划使用两台虚拟机来打一个小型的分布式系统，使用Ubuntu系统二、HBase简介1、HBase是基于HDFS（Hadoop分布式文件系统）的NoSQL数据库，采用k-v的存储方式，所以查询速度相对比较快。2、下面画图比较
转载
2023-08-09 15:30:33
64阅读
1.定义是一个分布式运算程序的编程框架，能将用户编写的业务逻辑代码和自带默认组件整合成一个完成的分布式运算程序。2.优缺点2.1优点2.1.1易于编程只需要简单的实现一些接口，就可以完成一个分布式程序。2.1.2高容错性mr程序可以部署在多台机器上，其中一台挂了，可以把上面的计算任务转移到另外一个节点上运行，由hadoop内部自动完成。2.1.3良好的扩展性可以通过增加机器来有效扩展其计算能力。2
转载
2023-08-08 17:13:50
95阅读
问题描述我们的数据分析平台是单一的Map/Reduce过程，由于半年来不断地增加需求，导致了问题已经不是那么地简单，特别是在Reduce阶段，一些大对象会常驻内存。因此越来越顶不住压力了，当前内存问题已经是最大的问题，每个Map占用5G，每个Reduce占用9G！直接导致当数据分析平台运行时，集群处于资源匮乏状态。 因此，在不改变业务数据计算的条件下，将单一的Map/Reduce过程分解
转载
2023-12-20 20:38:46
359阅读
hadoop:数据流转图（基于hadoop 0.18.3）：通过一个最简单的例子来说明hadoop中的数据流转。 hadoop:数据流转图（基于hadoop 0.18.3）： 这里使用一个例子说明hadoop中的数据流转过程，这个例子是统计一些文章中词汇的总数。首先files表示这些需要统计词汇的文章。 首先，hadoop会把初始数据分配到
转载
2023-09-30 22:25:21
65阅读
2，hadoop流机制
Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java接口获取key/value对输入，创建一个新的进程启动包装的用户程序，将数据通过管道传递给包装的用户程序处理，然后调用MapReduce Java接口将用户程序的输
转载
2024-03-11 11:30:59
39阅读
你在用什么软件进行图像处理呢？厌倦了鼠标和手指的拖拖点点，想不想用程序和代码进行图像的高效处理，Python作为简单高效又很强大的一门编程语言，对于图像的处理自然也是轻松拿下，听起来是不是很酷很极客，那么就跟着我来看看吧！一、Python的强大图像处理库——Pillow工欲善其事必先利其器， Python的标准库中虽然没有直接支持图像处理操作的模块，但我们可以通过Python生态圈中的第三方库来完
转载
2024-02-03 02:43:48
52阅读
一、Shuffle机制Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（即将map输出作为输入传给reducer）称为shuffle。二、MapReduce工作流程1.图示流程2.流程详解上面的流程是整个mapreduce最全工作流程，但是shuffle过程只是从第7步开始到第16步结束，具体shuffle过程详解，如下：1）maptask收集我们的map()方法输
转载
2023-08-28 17:44:04
120阅读
流计算概述一、 流计算应用需求静态数据（支持决策分析而构建的数据仓库系统）可以利用数据挖掘和OLAP.OLTP(transaction)数据存储和管理，除了用数据仓库做，还可以用hdfs，
hive就是基于hdfs的数据仓库挖掘引擎除了用数据仓库，还可以用hadoop,spark
计算开始之前，数据已经存在了流数据特征：大量、快速、时变的流形式
数据量大，但是不十分关注存储（是没
转载
2024-07-01 18:03:56
68阅读
# Android 实时处理 RTSP 流的入门指南
在当今的移动开发世界中，处理实时流媒体变得越来越普遍。如果你是一名刚入门的开发者，想要实现 Android 应用程序中的 RTSP（实时流协议）流处理，以下是一个系统性的方法，帮助你从零开始实现。
## 目标流程
首先，让我们概述一下实现过程的主要步骤：
| 步骤 | 描述
原创
2024-10-03 05:53:40
93阅读
