1. MapReduce 与 HDFS 简介 什么是 Hadoop ？ Google 为自己的业务需要提出了编程模型 MapReduce 和分布式文件系统 Google File System，并发布了相关论文（可在 Google Research 的网站上获得：GFS、MapReduce）。Doug Cutting 和 Mike Cafarella 在开发搜索引擎 Nutch 时对这两篇论文
转载
2023-11-18 23:33:44
104阅读
在软件开发里，我们将不在自己控制范围内因素所造成的问题和没有预料到的情况称为异 常。工作流异常和软件开发里异常的概念一致，将流程实例执行过程中出现的问题和错误称为异 常，这些异常是由各种不确定因素造成的，从而使流程实例执行偏离了流程设计者最初的期望。 引起工作流异常的因素有很多，流程定义描述的不准确或不完整，执行环境的变化，不能获取资 源等都会引起流程执行偏离预期。这些因素涉及系统异常:硬件、软件
转载
2021-10-24 15:58:00
1018阅读
2评论
JAVA重要知识点装饰器模式适配器模式适配器模式和装饰器模式区别工厂模式观察者模式常用的监听事件 装饰器模式作用 装饰器模式可以在不改变原有对象的情况下拓展其功能。 通过组合替代继承来扩展原始类的功能，在一些继承关系比较复杂的场景，例如：IO这类场景的继承关系。这些场景中更加实用。具体对流的作用 对于字节流来说，FilterInputStream和FileOutputStream是装饰器模式的核
转载
2023-07-15 00:49:20
122阅读
<一>DStream实时流数据处理Spark Streaming能够对流数据进行近乎实时的速度进行数据处理。采用了不同于一般的流式数据处理模型，该模型使得Spark Streaming有非常高的处理速度，与storm相比拥有更高的吞能力。本篇简要分析Spark Streaming的处理模型，Spark Streaming系统的初始化过程，以及当接收到外部数据时后续的处理步骤。系统概述流
转载
2023-11-09 08:35:21
99阅读
2，hadoop流机制
Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java接口获取key/value对输入，创建一个新的进程启动包装的用户程序，将数据通过管道传递给包装的用户程序处理，然后调用MapReduce Java接口将用户程序的输
转载
2024-03-11 11:30:59
39阅读
hadoop:数据流转图（基于hadoop 0.18.3）：通过一个最简单的例子来说明hadoop中的数据流转。 hadoop:数据流转图（基于hadoop 0.18.3）： 这里使用一个例子说明hadoop中的数据流转过程，这个例子是统计一些文章中词汇的总数。首先files表示这些需要统计词汇的文章。 首先，hadoop会把初始数据分配到
转载
2023-09-30 22:25:21
65阅读
## Java 数据流的处理模式
### 简介
Java 数据流的处理模式是一种用于处理连续数据流的编程模式。它允许我们通过一系列的数据处理操作来处理数据流，并最终得到我们想要的结果。在这篇文章中，我将介绍整个数据流处理的流程，并给出相应的代码示例，以帮助你理解和应用这个模式。
### 流程图
```mermaid
flowchart TD
A[创建输入流] --> B[创建数据流
原创
2023-08-19 04:29:51
99阅读
Apache Flink部署模式有如下三种模式：Flink Local 模式 Flink Standalone 模式 Flink ON YARN 模式
本文主要介绍Apache Flink的本地部署模式。
本地部署模式主要用于开发者程序调试测试使用。
1、启动Flink
$ cd D:\dev\flink-1.9.2\bin
$ start-cluster.bat ## 双击启动Flink
转载
2020-03-07 22:26:00
592阅读
2评论
流的概念：在程序的开发中IO的核心就是：输入和输出。输入和输出是相对的，可能来自不同的环境。 对于服务器或者是客户端而言，传递的就是一种数据流的处理形式，而所谓的数据流指的就是字节数据。这种的处理形式在java.io包里提供了两类支持： - 字节处理流:OutputStream(输出字节流)、InputStream(输入字节流) - 字符处理流:Writer（输出
转载
2023-09-06 20:48:53
91阅读
流：代表任何有能力产出数据的数据源对象或者是有能力接受数据的接收端对象。流的本质：数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。 流的作用：为数据源和目的地建立一个输送通道。 Java中将输入输出抽象称为流，就好像水管，将两个容器连接起来。流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流。IO的分类：根据处理数据类型的
转载
2023-06-26 21:12:21
54阅读
一、Hadoop生态系统的演进与核心架构 在大数据技术发展史上，Hadoop始终扮演着重要角色。从最初的MapReduce单一体系，到如今YARN、HDFS、ZooKeeper等组件构成的复杂生态，其
流处理器是直接将多媒体的图形数据流映射到流处理器上进行处理的，有可编程和不可编程两种。流处理器可以更高效的优化Shader引擎，它可以处理流数据，同样输出一个流数据，这个流数据可以应用在其它超标量流处理器（Stream Processors，简称SPs）当中，流处理器可以成组或者大数量的运行，从而大幅度提升了并行处理能力。 起源
流处理器这个名词第一次出现在人们的视线中还要上溯到200
转载
2024-01-10 14:17:01
69阅读
流是jdk8新增的一个特性。大概可以理解为将集合转为流，处理之后再转换成自己想要的其他类型。对流的操作大概可以分成两类，中间操作和结束操作。每次调用中间操作都会生成一个新的流，当结束操作执行时会触发实际运算，计算完成之后流就会失效。Java的优点：Stream不是一个数据结构，它应该可以说是数据源的视图，数据源可以是Java容器，数组等等。Stream是惰式操作，Stream的操作并不会真正运行，
转载
2023-12-12 15:16:05
22阅读
抽象基类 节点流（文件流） 缓冲流 InputStream（字节流） FileInputStream BufferedInputStream OutputStream（字节流） FileOutputStream BufferedOutputStream Reader（字符流） FileReader
原创
2022-09-29 14:40:58
138阅读
1. Apache Flink 介绍Apache Flink 是近年来越来越流行的一款开源大数据计算引擎，它同时支持了批处理和流处理，也能用来做一些基于事件的应用。使用官网的一句话来介绍 Flink 就是 “Stateful Computations Over Streams”。首先 Flink 是一个纯流式的计算引擎，它的基本数据模型是数据流。流可以是无边界的无限流，即一般意义上的流处理。也可以
转载
2024-04-26 09:29:12
39阅读
java基础IO流框架
转载
2023-06-05 09:47:43
134阅读
什么是流式查询？流式查询 指的是查询成功后不是返回一个集合而是返回一个迭代器，应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。如果没有流式查询，我们想要从数据库取 1000 万条记录而又没有足够的内存时，就不得不分页查询，而分页查询效率取决于表设计，如果设计的不好，就无法执行高效的分页查询。因此流式查询是一个数据库访问框架必须具备的功能。⚠️流式查询的过程当中，数据库连
转载
2023-12-27 11:19:16
269阅读
“nano-stream是一个java开发框架，它定义了一个类xml的流接口，数据和事件可以通过该接口在处理模块间传递。另外它提供了一系列组件用于快速创建处理模块。最后，处理模块可以通过脚本配置、链接、运行。
nano-stream的设计核心：
1，数据、事件通过流传递。
2，流通过插槽进行分流。
3，流的各个处理模块通过脚本（nano-st
转载
2023-08-08 13:52:02
101阅读
关于使用处理流的优势，归纳起来就是两点：（1）对于开发人员来说，使用处理流进行输入/输出操作更简单；（2）使用处理流执行效率更高。1、BufferedInputStream/BufferedOutputStream和BufferedReader/BufferedWriterConstructorDescriptionBufferedInputStream(InputStream C
转载
2023-07-19 12:07:20
191阅读
分析&回答1.开发者模式 在idea中运行Flink程序的方式就是开发模式。2.local-cluster模式 Flink中的Local-cluster(本地集群)模式,单节点运行，主要用于测试, 学习。3.Standalone模式 &n
转载
2024-07-10 17:20:32
18阅读
