3.flink-部署模式（三）1.local模式2.standalone修改conf/flink-conf.yaml# 必选
# 指定jobmanager的hostname
jobmanager.rpc.address: node01
# 可选
# 指定jobmanager的port
jobmanager.rpc.port: 6123
# 指定jobmanager的可用堆内存量（单位为MB）
j
转载
2024-07-29 13:45:32
109阅读
HDFS架构图HDFS特点：高容错；高吞吐量；在项目中处理大数据集；流式访问文件系统数据；可以构建在普通的硬件之上。采用master/slave架构，主要组成组件有：Client、NameNode、SecondaryNameNode、DataNode。（1）Client用户，通过与NameNode和DataNode交互访问HDFS中的文件，Client提供一个类似POSIX的文件系统接口供用户调用
转载
2024-01-25 17:10:01
104阅读
HADOOP中可以分为两个大的模块，存储模块和计算模块。HDFS作为存储模块，JobTracker,TaskTracker构成计算模块。 1.HADOOP的文件是以HDFS格式存储的 HDFS是一种文件系统，专为大规模分布式数据处理而设计的，我们可以把一个很大的数据集，在HDFS中存储为单个文件。HDFS中采取的是master/slave的结构，其中master我们
转载
2024-04-22 14:02:44
128阅读
Flink系列之：深入理解ttl和checkpoint，Flink SQL应用ttl案例一、深入理解Flink TTL二、Flink SQL设置TTL三、Flink设置TTL四、深入理解checkpoint五、Flink设置Checkpoint六、Flink SQL关联多张表七、Flink SQL使用TTL关联多表 一、深入理解Flink TTLFlink TTL（Time To Live）是一
# Apache Flink与Hadoop生态系统的结合
## 引言
在大数据处理领域，Apache Flink与Hadoop都是重要的组成部分。Flink是一种流处理框架，具有高吞吐量和低延迟的特点；而Hadoop则是一种分布式计算平台，广泛用于批处理和存储数据。在使用这两者进行数据处理时，理解它们之间的通信机制尤其重要，特别是Flink如何与Hadoop交互，包括如何配置Hadoop的文件
原创
2024-09-02 06:59:31
116阅读
# 实现在Kubernetes集群中配置Flink端口
## 概述
在Kubernetes集群中配置Flink端口是非常重要的，可以确保Flink应用程序能够正常运行并且能够与外部系统进行通信。本文将介绍在Kubernetes中配置Flink端口的详细步骤，以及每个步骤需要做的事情和相应的代码示例。
## 步骤概述
下面是配置Flink端口的整体流程，我们将在接下来的部分逐步进行详细说明：
原创
2024-05-21 10:34:45
94阅读
文章目录flink 任务运行中出现的错误一、flink 维护状态变量出现走过的弯路：1、flink 维护状态变量有三种方式：<1>、MemoryStateBackend<2>、FsStateBackend<3>、RocksDBStateBackend2、出现的错误：<1>:当使用 FsStateBackend 的时候出现的错误 如下图：错误如下：&
转载
2023-08-31 16:10:46
224阅读
1.写在前面 为什么会出现“不支持”的数据类型呢？因为 Flink 作为一个分布式处理框架，处理的是以数据对象作为元素的流。如果用水流来类比，那么我们要处理的数据元素就是随着水流漂动 的物体。在这条流动的河里，可能漂浮着小木块，也可能行驶着内部错综复杂的大船。要分布 式地处理这些数据，就不可避免地要面对数据的网络传输、状态的落盘和故障
转载
2024-03-25 21:11:20
42阅读
一、为什么选择Flink Apache Flink 是一个框架和分布式处理引擎，用于对无界和有解数据流进行状态计算，其具有高吞吐、低延迟、结果准确、语义化窗口、易用的API和高容错的特点 ETL 是企业
转载
2024-05-29 11:40:39
138阅读
## HBase 单节点 Backup Masters 实现流程
### 概述
在 HBase 中，Backup Masters 是用来备份主 Master 的节点，以提供高可用性和容错能力。本文将介绍如何实现 HBase 单节点 Backup Masters，并提供详细的步骤和代码示例。
### 实现步骤
下面是实现 HBase 单节点 Backup Masters 的步骤，用表格展示：
原创
2023-08-26 11:38:39
181阅读
端口作用
传输层的主要作用
1、数据传输的时候在传输层要确定使用的是TCP协议还是UDP协议；
2、确定发送端的端口号和接收端的端口号。
端口号是什么
如果吧数据传输比作写信，那么IP地址相当于收信人的地址，端口号相当于收信人的名字。
通过IP可以确定对方IP的服务器位置，一个服务器同时可能开启多种服务
原创
2021-07-20 12:40:55
413阅读
## Redis Sentinel Masters配置
Redis Sentinel是Redis官方提供的一种高可用解决方案，它可以监控Redis主从节点的健康状态并在主节点故障时自动进行故障转移，确保Redis集群的高可用性。在Redis Sentinel中，我们可以配置多个主节点，并通过Sentinel Masters配置来管理这些主节点。
### Sentinel Masters配置简介
原创
2024-03-03 05:56:19
62阅读
本篇文章，主要通过Flink来实现“Hello Word”、批处理的“Word Count”以及流处理的“Word Count”来体验一下Flink.1. 版本说明本系列文章所使用的flikn版本为最新的1.12.0(截至2021年1月)Flink：1.12.0Java：1.8Maven：3.6.32. 一个最简单的Flink程序：Hello Word在学习任何一门语言或者框架的时候，我们总是以“
在Kubernetes (K8S) 中，Apache Flink 是一个流处理框架，可以用于实时数据处理。要将Flink 在K8S 上部署，并且让其能够被外部访问，就需要了解如何配置默认端口。本文将详细介绍如何实现“flink 默认端口”的配置步骤，并给出相应的代码示例。
步骤 | 操作
---|---
Step 1 | 创建一个Flink 的配置文件
Step 2 | 配置FlinkJobMa
原创
2024-05-21 10:34:56
448阅读
### 实现Flink默认端口的流程
对于flink默认端口的设置，一般来说是在配置flink集群时进行指定。在flink中，默认的端口为8081，用于Flink WebUI监控界面的访问。下面将详细介绍如何实现Flink默认端口的设置。
#### 步骤概览
| 步骤 | 操作 | 代码示例
原创
2024-05-21 10:34:56
796阅读
生产环境，我们的 Flink 作业偶尔会出现 heap OOM，那么当出现这种情况我们会怎么办？通常来说会通过 jmap 命令去将作业的 heap dump 一份文件出来，可是 jmap 导出的文件我们也看不懂啊，那么该怎么分析呢？今天推荐 memory analyzer(mat)这个工具，让他帮助我们来观察程序的内存分布情况吧。MAT 不是一个万能工具，它并不能处理所有类型的堆存储文件。但是比较
本篇博客学习一下内容缓冲流概述BufferedInputStream 字节输入缓冲流构造方法BufferedOutputStream 字节输出缓冲流构造方法flush() 和 close()BufferedReader 字符输入缓冲流构造方法BufferedWriter 字符输出缓冲流构造方法总结缓冲流概述缓冲流是对文件流处理的一种流，它本身并不具备 IO 功能，只是在别的流上加上缓冲提高了效率，
转载
2024-10-27 09:58:15
13阅读
1. Flink的特点事件驱动（Event-driven）基于流处理一切皆由流组成，离线数据是有界的流；实时数据是一个没有界限的流。（有界流、无界流）分层API越顶层越抽象，表达含义越简明，使用越方便越底层越具体，表达能力越丰富，使用越灵活1.1 Flink vs Spark Streaming数据模型Spark采用RDD模型，spark streaming的DStream实际上也就是一组组小批数
转载
2024-01-12 12:40:13
58阅读
前言：本文是对视频课程《基于flink与groovy实现亿用户级实时动态规则智能运营系统》的介绍说明； 本项目极具行业实用价值，可为各企业开发人员提供系统设计思路与灵感，而且，它不光可用于智能运营，也可以应用在实时规则推荐，实时广告推送，实时规则封控，实时交通监控等纪委广泛的场景中； 当然，各类培训机构学员也可以通过学习此项目来丰富自己的就业简历，绝对杀手锏级别！在面试中运用得当，可以起到一锤定音
转载
2024-04-28 18:59:15
80阅读
Flink 它可以处理有界的数据集、也可以处理无界的数据集、它可以流式的处理数据、也可以批量的处理数据。Flink 是什么 ？上面三张图转自 云邪 成都站 《Flink 技术介绍与未来展望》，侵删。从下至上，Flink 整体结构从下至上：1、部署：Flink 支持本地运行、能在独立集群或者在被 YARN 或 Mesos 管理的集群上运行， 也能部署在云上。2、运行：Flink 的核心是分布式流式数
转载
2023-12-19 15:38:35
31阅读
