有关hdfs的链接http://hadoop.apache.org/docs/current/api/ (Apache Hadoop Main 2.7.1 API) http://slaytanic.blog.51cto.com/2057708/1101111/ (hdfs-site.xml 配置项说明) http://archive-primary.cloudera.com/cm5/instal
目录一、Kafka Streams概述1）Kafka Streams是什么2）流式计算与批量计算区别3）Kafka Streams特点二、Kafka Streams流处理拓扑1）相关概念2）Kafka Streams中两种定义流处理的方法3）流处理中的三种时间4）KTable和KSteam5）窗口三、Kafka Streams原理与架构1）流分区和任务2）线程模型3）本地状态存储4）容错四、简单应
转载
2023-12-04 04:32:24
107阅读
一、大数据技术划分 二、流式计算历史演进 目前主流的流式计算框架有Storm/Jstorm、Spark Streaming、Flink/Blink三种。 Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。在Storm中，需要先设计一个实时计算结构，我们称之为拓扑
转载
2024-07-04 09:36:30
173阅读
文章目录1.storm集群架构2.storm编程模型Topologies（拓扑）Streams（流）SpoutsBoltsStream groupingsTasksWorkers3.storm入门实例集群安装项目创建定义WordReaderSpout定义WordSplitBolt定义WordCountBolt定义main本地集群运行生产集群运行4.storm其他应用场景 1.storm集群架构A
转载
2024-02-29 12:33:57
28阅读
大数据篇：MapReduceMapReduce是什么?MapReduce源自于Google发表于2004年12月的MapReduce论文，是面向大数据并行处理的计算模型、框架和平台，而Hadoop MapReduce是Google MapReduce克隆版。如果没有MapReduce!那么在分布式计算上面将很难办，不好编程。在早期无法处理大数据的离线计算。编程中不易扩展性分布式计算任务一旦挂了，没
转载
2023-11-24 21:10:51
143阅读
# 为什么Hadoop不适合处理流式数据
在现代数据处理领域，流式数据（Streaming Data）和批处理（Batch Processing）是两种截然不同的数据处理方式。尽管Hadoop在处理批量数据时表现优异，但它并不适合实时的流式数据处理。本文将指导你理解这一点，并展示Hadoop处理流式数据的流程，包括相关的代码示例和类图与关系图的使用。
## 流程概述
这里是一个简要的流程图，
原创
2024-10-30 03:43:37
64阅读
什么是MapReduce
MapReduce是一个分布式计算框架； 它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务；适用于大规模数据处理场景；每个节点处理存储在该节点的数据；每个 job 包含Map和Reduce两部分MapReduce的设计思想1、分而治之简化并行计算的编程模型2、构建抽象模型开发人员专注于实现 Mapper 和 Reduce 函数3、隐藏系统层细节开发人员专注于业
转载
2024-01-15 01:13:41
137阅读
一、前言1、从今天开始进行流式大数据计算的实践之路，需要完成一个车辆实时热力图2、技术选型：HBase作为数据仓库，Storm作为流式计算框架，ECharts作为热力图的展示3、计划使用两台虚拟机来打一个小型的分布式系统，使用Ubuntu系统二、HBase简介1、HBase是基于HDFS（Hadoop分布式文件系统）的NoSQL数据库，采用k-v的存储方式，所以查询速度相对比较快。2、下面画图比较
转载
2023-08-09 15:30:33
64阅读
Hadoop流提供给了 API允许用户使用任何脚本语言编写 map 函数或 reduce 函数。Hadoop 流的关键是，它使用 UNIX标准流作为程序与 Hadoop 之间的接 口。因此，任何程序只要可以从标准输入流中读取数据，并且可以写入数据到 标准输出流，那么就可以通过 Hadoop流使用其他语言编写 MapReduce程序的 map函数或 reduce函数。 bin/Hadoop
转载
2023-09-23 13:10:42
43阅读
1.定义是一个分布式运算程序的编程框架，能将用户编写的业务逻辑代码和自带默认组件整合成一个完成的分布式运算程序。2.优缺点2.1优点2.1.1易于编程只需要简单的实现一些接口，就可以完成一个分布式程序。2.1.2高容错性mr程序可以部署在多台机器上，其中一台挂了，可以把上面的计算任务转移到另外一个节点上运行，由hadoop内部自动完成。2.1.3良好的扩展性可以通过增加机器来有效扩展其计算能力。2
转载
2023-08-08 17:13:50
95阅读
大数据计算引擎分为离线计算和实时计算，离线计算就是我们通常说的批计算，代表是Hadoop MapReduce、Hive等大数据技术。实时计算也被称作流计算，代表是Storm、Spark Streaming、Flink等大数据技术。 计算引擎也在不
转载
2023-09-20 10:38:12
162阅读
流计算概述一、 流计算应用需求静态数据（支持决策分析而构建的数据仓库系统）可以利用数据挖掘和OLAP.OLTP(transaction)数据存储和管理，除了用数据仓库做，还可以用hdfs，
hive就是基于hdfs的数据仓库挖掘引擎除了用数据仓库，还可以用hadoop,spark
计算开始之前，数据已经存在了流数据特征：大量、快速、时变的流形式
数据量大，但是不十分关注存储（是没
转载
2024-07-01 18:03:56
68阅读
一、前言1、从今天开始进行流式大数据计算的实践之路，需要完成一个车辆实时热力图2、技术选型：HBase作为数据仓库，Storm作为流式计算框架，ECharts作为热力图的展示3、计划使用两台虚拟机来打一个小型的分布式系统，使用Ubuntu系统二、HBase简介1、HBase是基于HDFS（Hadoop分布式文件系统）的NoSQL数据库，采用k-v的存储方式，所以查询速度相对比较快。2、下面画图比较
转载
2024-06-07 20:16:56
23阅读
流式大数据计算实践（3）----高可用的Hadoop集群一、前言1、上文中我们已经搭建好了Hadoop和Zookeeper的集群，这一文来将Hadoop集群变得高可用2、由于Hadoop集群是主从节点的模式，如果集群中的namenode主节点挂掉，那么集群就会瘫痪，所以我们要改造成HA模式（High Avaliable，高可用性）的集群，说白了就是设置一个备用的namenode节点，当线上使用的n
转载
2023-09-08 20:03:59
26阅读
JAVA开发中经常会遇到不方便使用数据库，但又要进行结构化数据计算的场景。JAVA早期没有提供相关类库，即使排序、分组这种基本计算也要硬写代码，开发效率很低。后来JAVA8推出了Stream库，凭借Lambda表达式、链式编程风格、集合函数，才终于解决了结构化数据计算类库从无到有的问题。Stream可以简化结构化数据的计算比如排序：Stream<Order> result=Orders
Hadoop的MapReduce shuffle过程，非常重要。只有熟悉整个过程才能对业务了如指掌。MapReduce执行流程输入和拆分： 不属于map和reduce的主要过程，但属于整个计算框架消耗时间的一部分，该部分会为正式的map准备数据。 分片（split）操作： split只是将源文件的内容分片形成一系列的 I
转载
2024-08-02 10:06:31
13阅读
需求描述：现在有一个文件，包含若干个字段（时间戳，手机号，...,上行流量，下行流量等），字段间以“\t“,分隔，数据格式如下，现在要统计出所有手机号的上行/下行流量总和。输入：时间戳 手机号 ... 上行流量 下行流量输出：手机号 总上行流量 总下行流量 总流量思路：框架传递给Map的数据是文件中的一行数据，首先将行切分成字符串数组，提取出要用的字
转载
2024-07-16 06:52:09
54阅读
背景本人还是比较喜欢java8 stream的流式处理数据，它的map、filter等操作都让我重新正视了java一眼，就好像你分手多年后偶然见到了变漂亮的前女友时的眼前一亮（我瞎说的，你别当真！！！）不过相处一段时间后发现，使用起来还是有些许疼痛（也有可能是我不会用），比如：无法连续简洁的.出来操作批量修改list里面的值有些困难所以结合使用场景，本人简单粗暴地开发了Distream，希望它可以
转载
2023-10-20 19:15:09
62阅读
Milvus 作为一款开源的特征向量相似度搜索引擎，其开源半年以来，在全球已经有数百家企业或组织用户。这些用户涉及各个领域，包括金融、互联网、电商、生物制药等。在部分用户的生产场景中，其数据大多是持续地、动态地生成，且要求这些动态生成的数据入库后能很快被检索到。大数据处理可分为批式大数据（又称为“历史大数据”）处理和流式大数据（又称为“实时大数据”）处理两类。在大多数情况下，流数据在处理持续生成的
转载
2023-11-16 14:58:07
179阅读
