一、本地模式在本地以多线程的方式模拟Flink中的多个角色。(开发环境不用) 下载地址：https://flink.apache.org/downloads.html 这里下载的是：flink-1.13.0-bin-scala_2.12.tgz 上传到常用的位置，然后解压。 启动： 切换到flink的bin目录下，执行./start-cluster.sh，然后查看进程。二、Standalone 独
# 从零开始实现 Flink 与 RocketMQ 集成
## 整体流程
下面是实现 Flink 与 RocketMQ 集成的整体流程：
| 步骤 | 操作 |
| ------ | ---------- |
| 1. | 配置 Maven 依赖 |
| 2. | 创建 Flink 应用 |
| 3. | 初始化 Flink 程序 |
| 4. |
原创
2024-05-27 10:58:23
364阅读
# 使用 RocketMQ 结合 Java 的入门指南
## 1. 引言
RocketMQ 是一个高性能、高可靠性的分布式消息中间件，广泛用于大规模的消息处理场景。结合 Java 开发，使用 RocketMQ 可以有效实现异步通信、任务调度以及消息解耦等功能。这篇文章将带您逐步认识如何在 Java 项目中使用 RocketMQ。
## 2. 流程概述
在使用 RocketMQ 之前，我们首
转载
2024-07-07 15:56:35
50阅读
1、准备2、源码阅读2-1、对使用@RocketMQMessageListener的类进行增强，生成监听器ListenerContainer，并启动2-2、基于顺序消费和并发消费创建对应的Service，创建处理消息的的线程池2-3、拉消息和负载均衡的开始2-4、队列和消费者之间的负载均衡2-5、拉消息3、总结上一遍学习了三种常见队列的消费原理，本次我们来从源码的角度来证明上篇中的理论。1、准备R
Spring Cloud简介 Spring Cloud是一个基千SpringBoot实现的微服务架构开发 工具。它为微服务架构中 涉及的 配置管理、服务治理、 断路器、 智能路由、微代理、 控制总线、 全局锁、 决策竞选、 分布式会话和集群状态管理等操作提供了一种简单的开发方式。Spring Cloud包含了多个子项目（针对分布式系统中涉及的多个不同开源产品，还可能 会新增），如下所述。• Spr
转载
2024-09-06 22:50:22
21阅读
前言最近挺忙的，好久没更新文章了，最近在搞RocketMQ，那就先发点这个，Netty的文章等我空了再继续更。一.MQ概述1.MQ是什么MQ全称为Message Queue，即消息队列 ，是一种提供消息队列服务的中间件，也称为消息中间件，是一套提供了消息生 产、存储、消费全过程的软件系统，遵循FIFO原则。在高并发的分布式系统中使用居多。2.为什么用MQ为什么要使用MQ, 我从生活中发现的一个例子
转载
2024-03-25 16:33:34
330阅读
前言今天上午被 Flink 的一个算子困惑了下，具体问题是什么呢？我有这么个需求：有不同种类型的告警数据流(包含恢复数据)，然后我要将这些数据流做一个拆分，拆分后的话，每种告警里面的数据又想将告警数据和恢复数据拆分出来。结果，这个需求用 Flink 的 Split 运算符出现了问题。分析需求如下图所示：我是期望如上这样将数据流进行拆分的，最后将每种告警和恢复用不同的消息模版做一个渲染，渲染后再通过
转载
2024-01-03 13:53:30
73阅读
随着大数据的迅猛发展，企业越来越重视数据的价值，这就意味着需要数据尽快到达企业分析决策人员，以最大化发挥数据价值。企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。在业务建设过程中，实时数仓需要支持数据实时写入与更新、业务敏捷快速响应、数据自助分析、运维操作便捷、云原生弹性扩缩容等一系列需求，而这就依赖一个强大的实时数仓解决方案。阿里云实时计算 Flink 版（以下简称“阿里云 Flin
转载
2024-06-18 18:52:53
92阅读
本文作者：腾讯新闻商业化数据高级工程师 罗强摘要 随着社会消费模式以及经济形态的发展变化，将催生新的商业模式。腾讯新闻作为一款集游戏、教育、电商等一体的新闻资讯平台、服务亿万用户，业务应用多、数据量大。加之业务增长、场景更加复杂，业务对实时计算高可靠、可监控、低延时、数据可回溯的要求也越来越迫切。比如新闻广告投放、停单、在线推荐、电商搜索中，更快的响应用户需求、精准计费停单
转载
2024-05-28 19:29:18
34阅读
序since： 2021年5月20日 22:29auth ：Hadi前言从去年年末开始接触使用到NiFi，到现在为止已经将近半年，这里将一下关于ListSFTP类相关组件的使用。NiFi可以当做Flink进行使用，但不是很推荐进行复杂计算的使用，对于我的使用场景来说主要是做数据采集和预处理相关的工作，负责数据流程的第一步，同时也做数据的转换操作比如流式转文件，文件转流式等等。那么获取数据是整个数据
转载
2024-08-10 22:59:44
144阅读
Flink Standalone RocketMQ 消费异常
## 引言
Apache Flink 是一个开源的流式处理框架，它提供了强大的分布式流处理和批处理能力。RocketMQ 是一个开源的分布式消息中间件，具有高性能、高可靠性和容错能力。在某些情况下，使用 Flink 与 RocketMQ 结合进行数据处理可能会遇到消费异常的情况。本文将探讨在 Flink Standalone Roc
原创
2024-01-09 23:22:09
132阅读
简介阿里巴巴基于Java语言开发的分布式消息中间件。RocketMQ是Mateq3.0之后的开源版本。Metaq最早源于Kafka，早期借鉴了Kafka很多优秀的设计。RocketMQ的使用场景应用解耦：系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验
转载
2024-06-09 19:12:17
145阅读
Flink 支持 HiveCatalog 作为表元数据持久化的介质，在生产环境我们一般采用 HiveCatalog 来管理元数据, 这样的好处是不需要重复使用 DDL 创建表,只需要关心业务逻辑的 SQL,简化了开发的流程,可以节省很多时间,下面就来介绍一下怎么配置和使用 HiveCatalog.
sql-client-defaults.yaml 配置
catalogs:
- name: m
原创
2021-08-16 15:00:40
391阅读
笔者在某次实践过程中，搭建了一个Flink监控程序，监控wikipedia编辑，对编辑者编辑的字节数进行实时计算，最终把数据sink到kafka的消费者中展示出来，监控程序本身比较简单，只要在程序中指定好WikipediaEditsSource源并配置好sink与kafka关联就可以，类似一个略微复杂版的wordcount，按照网络上的教程，在实践的最后，开启zookeeper服务和ka
转载
2024-09-24 07:06:27
57阅读
简介Flink-kafka-connector用来做什么？Kafka中的partition机制和Flink的并行度机制结合，实现数据恢复Kafka可以作为Flink的source和sink任务失败，通过设置kafka的offset来恢复应用kafka简单介绍关于kafka，我们会有专题文章介绍，这里简单介绍几个必须知道的概念。1.生产者（Producer）顾名思义，生产者就是生产消...
原创
2021-06-10 19:50:57
699阅读
简介Flink-kafka-connector用来做什么？Kafka中的partition机制和Flink的并行度机制结合，实现数据恢复Kafka可以作为Flink的source和sink任务失败，通过设置kafka的offset来恢复应用kafka简单介绍关于kafka，我们会有专题文章介绍，这里简单介绍几个必须知道的概念。1.生产者（Producer）顾名思义，生产者就是生产消...
原创
2021-06-10 20:29:23
925阅读
(4) ProcessWindowFunction with Incremental Aggregation(与增量聚合结合)可将ProcessWindowFunction与增量聚合函数ReduceFunction、AggregateFunction结合。元素到达窗口时增量聚合，当窗口关闭时对增量聚合的结果用ProcessWindowFunction再进行全量聚合。既能够增量聚合，也能够访问窗口的
转载
2024-03-27 13:48:28
72阅读
文章目录数据管道 & ETL无状态的转换`map()``flatmap()`Keyed Streams`keyBy()`通过计算得到键Keyed Stream 的聚合（隐式的）状态`reduce()` 和其他聚合算子有状态的转换Flink 为什么要参与状态管理？Rich Functions一个使用 Keyed State 的例子清理状态Non-keyed StateConnected S
转载
2024-05-02 21:57:29
70阅读
RocketMQ Flink Catalog 使用指南
推荐
原创
2022-10-25 14:21:00
1204阅读
