目录一、Kafka Streams概述1）Kafka Streams是什么2）流式计算与批量计算区别3）Kafka Streams特点二、Kafka Streams流处理拓扑1）相关概念2）Kafka Streams中两种定义流处理的方法3）流处理中的三种时间4）KTable和KSteam5）窗口三、Kafka Streams原理与架构1）流分区和任务2）线程模型3）本地状态存储4）容错四、简单应
转载
2023-12-04 04:32:24
107阅读
有关hdfs的链接http://hadoop.apache.org/docs/current/api/ (Apache Hadoop Main 2.7.1 API) http://slaytanic.blog.51cto.com/2057708/1101111/ (hdfs-site.xml 配置项说明) http://archive-primary.cloudera.com/cm5/instal
文章目录1.storm集群架构2.storm编程模型Topologies（拓扑）Streams（流）SpoutsBoltsStream groupingsTasksWorkers3.storm入门实例集群安装项目创建定义WordReaderSpout定义WordSplitBolt定义WordCountBolt定义main本地集群运行生产集群运行4.storm其他应用场景 1.storm集群架构A
转载
2024-02-29 12:33:57
28阅读
一、实验介绍
我们知道网站用户访问流量是不间断的，基于网站的访问日志，即 Web log 分析是典型的流式实时计算应用场景。比如百度统计，它可以做流量分析、来源分析、网站分析、转化分析。另外还有特定场景分析，比如安全分析，用来识别 CC 攻击、 SQL 注入分析、脱库等。这里我们简单实现一个类似于百度分析的系统。 1.1 实验知识点Python 模
转载
2024-05-23 17:08:55
20阅读
大数据篇：MapReduceMapReduce是什么?MapReduce源自于Google发表于2004年12月的MapReduce论文，是面向大数据并行处理的计算模型、框架和平台，而Hadoop MapReduce是Google MapReduce克隆版。如果没有MapReduce!那么在分布式计算上面将很难办，不好编程。在早期无法处理大数据的离线计算。编程中不易扩展性分布式计算任务一旦挂了，没
转载
2023-11-24 21:10:51
143阅读
什么是MapReduce
MapReduce是一个分布式计算框架； 它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务；适用于大规模数据处理场景；每个节点处理存储在该节点的数据；每个 job 包含Map和Reduce两部分MapReduce的设计思想1、分而治之简化并行计算的编程模型2、构建抽象模型开发人员专注于实现 Mapper 和 Reduce 函数3、隐藏系统层细节开发人员专注于业
转载
2024-01-15 01:13:41
137阅读
一、前言1、从今天开始进行流式大数据计算的实践之路，需要完成一个车辆实时热力图2、技术选型：HBase作为数据仓库，Storm作为流式计算框架，ECharts作为热力图的展示3、计划使用两台虚拟机来打一个小型的分布式系统，使用Ubuntu系统二、HBase简介1、HBase是基于HDFS（Hadoop分布式文件系统）的NoSQL数据库，采用k-v的存储方式，所以查询速度相对比较快。2、下面画图比较
转载
2023-08-09 15:30:33
64阅读
1.定义是一个分布式运算程序的编程框架，能将用户编写的业务逻辑代码和自带默认组件整合成一个完成的分布式运算程序。2.优缺点2.1优点2.1.1易于编程只需要简单的实现一些接口，就可以完成一个分布式程序。2.1.2高容错性mr程序可以部署在多台机器上，其中一台挂了，可以把上面的计算任务转移到另外一个节点上运行，由hadoop内部自动完成。2.1.3良好的扩展性可以通过增加机器来有效扩展其计算能力。2
转载
2023-08-08 17:13:50
95阅读
# Python 流式分析：数据实时处理的艺术
在当今这个信息爆炸的时代，数据流源源不断地产生，如何高效地处理这些数据流，成为了一个重要的课题。流式分析，即对数据流进行实时分析的技术，可以帮助我们快速地从海量数据中提取有价值的信息。Python，作为一种广泛使用的编程语言，提供了多种工具和库来支持流式分析。
## 流式分析简介
流式分析是一种对连续数据流进行处理的计算模型。与传统的批处理不同
原创
2024-07-23 12:18:09
63阅读
背景相对于传统的Hadoop这样的batch分析平台，流式分析的优点就是实时性， 即可以在秒级别延迟上得到分析结果 。 当然缺点是, 很难保证强一致性，即Exactly-Once语义 （在海量数据的前提下，为了保障吞吐量，无法使用类似事务的强一致性的方案）。 一般流式分析平台都会promise较弱的一致性，即Least-Once语义，保证数据不丢但允许数据重复。但这只是在正常的情况下
转载
2024-01-12 10:58:23
48阅读
大数据计算引擎分为离线计算和实时计算，离线计算就是我们通常说的批计算，代表是Hadoop MapReduce、Hive等大数据技术。实时计算也被称作流计算，代表是Storm、Spark Streaming、Flink等大数据技术。 计算引擎也在不
转载
2023-09-20 10:38:12
162阅读
流计算概述一、 流计算应用需求静态数据（支持决策分析而构建的数据仓库系统）可以利用数据挖掘和OLAP.OLTP(transaction)数据存储和管理，除了用数据仓库做，还可以用hdfs，
hive就是基于hdfs的数据仓库挖掘引擎除了用数据仓库，还可以用hadoop,spark
计算开始之前，数据已经存在了流数据特征：大量、快速、时变的流形式
数据量大，但是不十分关注存储（是没
转载
2024-07-01 18:03:56
68阅读
往期和大家分享了那些年遇到的细胞分选的坑-样品制备篇(一)，今天和大家分享分选后的流式分析篇。流式作为一种强大的细胞分析和分选的技术诞生于1965年，迄今已经有55年的历史。一个年过半百的老技术，竟然历久弥新，说明其强大的生命力和不断的技术进步。流式就是写上一本大部头的著作，也无法面面俱到，这也不是本文的目的。本文主要说一些和细胞分选之后，细胞纯度分析鉴定的Tips，希望能够帮助到大家。本人才疏学
转载
2024-05-08 22:18:13
63阅读
前言本篇文章会从Kafka的核心流式计算原理进行分析，Kafka Streams Low-level processor API 和 核心概念，以及常见的应用场景分析流式计算通过业务场景去分析流式计算的业务场景：双十一时实时滚动的订单量、成交总金额。 每十分钟的成交额 股票交易看板大数据的计算，而且刷新率是非常高的。如果在数据库中去计算，每5秒进行计算，是相当卡的。而且受网络等影响，这些都是影响因
转载
2023-10-05 21:43:22
4阅读
流式大数据计算实践（3）----高可用的Hadoop集群一、前言1、上文中我们已经搭建好了Hadoop和Zookeeper的集群，这一文来将Hadoop集群变得高可用2、由于Hadoop集群是主从节点的模式，如果集群中的namenode主节点挂掉，那么集群就会瘫痪，所以我们要改造成HA模式（High Avaliable，高可用性）的集群，说白了就是设置一个备用的namenode节点，当线上使用的n
转载
2023-09-08 20:03:59
26阅读
一、前言1、从今天开始进行流式大数据计算的实践之路，需要完成一个车辆实时热力图2、技术选型：HBase作为数据仓库，Storm作为流式计算框架，ECharts作为热力图的展示3、计划使用两台虚拟机来打一个小型的分布式系统，使用Ubuntu系统二、HBase简介1、HBase是基于HDFS（Hadoop分布式文件系统）的NoSQL数据库，采用k-v的存储方式，所以查询速度相对比较快。2、下面画图比较
转载
2024-06-07 20:16:56
23阅读
Hadoop的MapReduce shuffle过程，非常重要。只有熟悉整个过程才能对业务了如指掌。MapReduce执行流程输入和拆分： 不属于map和reduce的主要过程，但属于整个计算框架消耗时间的一部分，该部分会为正式的map准备数据。 分片（split）操作： split只是将源文件的内容分片形成一系列的 I
转载
2024-08-02 10:06:31
13阅读
1 为何需要标准化有的数据，不同维度的数量级差别较大，导致有的维度会主导整个分析过程。如下图所示：该图的数据维度\(d=30\)，样本量\(n=40\)，上面的图是对原始数据做PCA后，第一个PC在各个维度上的权重的平行坐标图，下面的图则是对数据做标准化之后的情况。可以发现，在原始数据中，第\(4\)和\(24\)个维度的权重非常大。如果其他的维度也包含了重要的信息，而我们只取第一个PC做研究，可
转载
2023-08-24 21:56:08
153阅读
# 实现流式数据分析的步骤
## 1. 定义数据流来源
首先，我们需要定义数据流的来源，比如从数据库、API或者实时传感器获取数据。
## 2. 处理数据
接下来，对数据进行清洗、转换和处理，以便后续分析使用。
## 3. 应用数据分析算法
然后，使用适当的数据分析算法对数据进行分析，比如机器学习模型，统计分析等。
## 4. 可视化分析结果
最后，将分析结果可视化展示，以便更好地理解数据
原创
2024-05-03 03:15:45
103阅读
