声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章 &nbs
转载
2024-05-14 22:41:37
25阅读
用户行为日志分析是实时数据处理很常见的一个应用场景，比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统，包括架构设计与代码实现。本文分享将完整呈现日志分析系统的数据处理链路，通过本文，你可以了解到：基于discuz搭建一个论坛平台Flume日志收集系统使用方式Apache日志格式分析Flume与Kafka集成日志分析处理流程架构设计与完整的代码实现项目简介本文分享会
转载
2024-03-21 15:13:22
130阅读
1 引言2 2PC协议2.1 投票阶段2.2 执行阶段2.3 优缺点3 EOS原理3.1 幂等 Sink3.2 事务性 Sink4 EOS实现4.1 开始事务4.2 预提交阶段4.3 提交阶段4.4 终止事务1 引言在分布式存储或者计算系统中，常见的消息可靠性有 At Most Once、At Least Once 和 Exactly Once 三
转载
2024-03-17 13:13:13
87阅读
Flume 概述Flume 是 Hadoop 生态圈子中的一个重要组件，在上一课时中提过，它是一个分布式的、高可靠的、高可用的日志采集工具。Flume 具有基于流式数据的简单灵活的架构，同时兼具高可靠性、高可用机制和故障转移机制。当我们使用 Flume 收集数据的速度超过下游的写入速度时，Flume 会自动做调整，使得数据的采集和推送能够平稳进行。Flume 支持多路径采集、多管道数据接入和多管道
转载
2024-03-26 04:51:44
57阅读
一，背景公司需要用到flink和kafka来处理大数据，对于一个没有接触过这两个东西的40岁程序员，决定自学一下，用了两天的时间终于实现了flink和kafka的对接，目标就是要向kafka输入 "时间戳,温度,设备ID"，然后在flink里面按照时间戳分组，再按照设备ID计算的在一个时间段内的温度平均值。 二，运行环境window 10, kafka 2.1.1, flink 1.7.
转载
2024-03-01 15:52:11
308阅读
目的最近会不定期抽空整理flink的相关知识，整理的逻辑大纲就是下面自己画的学习框架图。如果有大佬发现下面知识框架有问题也欢迎指出。因为FlinkKafkaConsumer 是flink自己对kafka的数据读取进行管理的中间件，与kafka自带的进度管理方式稍有不同，而kafka又是flink最常用的resource和sink之一。这里对FlinkKafkaConsumer的管理机制进行学习记录
转载
2024-04-23 11:46:31
81阅读
目录记录一次流处理引擎选择的过程1、Spark Streaming2、Kafka Streaming3、Flink最后 记录一次流处理引擎选择的过程先描述下项目需求，要处理的消息来源为RabbitMQ的队列A，队列A的数据是10万个点位（物联网采集点）数据每秒一次推送产生的，现在的需求是：要新增一些虚拟计算点位，点位建立规则是已有物理点位的计算表达式，比如V001为P001+2*P002。每个计
转载
2023-07-11 16:58:28
118阅读
本文是《Flink的sink实战》系列的第二篇，《Flink的sink实战之一：初探》对sink有了基本的了解，本章来体验将数据sink到kafka的操作；版本和环境准备本次实战的环境和版本如下：JDK：1.8.0_211Flink：1.9.2Maven：3.6.0操作系统：macOS Catalina 10.15.3 (MacBook Pro 13-inch, 2018)IDEA：2018.3.
转载
2024-03-21 11:25:15
83阅读
目录1. CDC简介1.1. 什么是CDC1.2. CDC的种类1.3. Flink-CDC2. 基于DataStream方式的FlinkCDC应用2.1. 导入依赖2.2. 编写代码2.2.1. 主类-从业务库中获取数据并写入到kafka中2.2.2. 自定义反序列化器2.2.3. 各方法参数详解3. FlinkSQL方式的应用1. CDC简介1.1. 什么是CDC Change Da
Kafka 数据管道是流计算系统中最常用的数据源（Source）和数据目的（Sink）。用户可以把流数据导入到 Kafka 的某个 Topic 中，通过 Flink 算子进行处理后，输出到相同或不同 Kafka 示例的另一个 Topic。Kafka 支持同一个 Topic 多分区读写，数据可以从多个分区读入，也可以写入到多个分区，以提供更
转载
2023-08-03 18:49:04
285阅读
Flink学习-DataStream-KafkaConnector摘要本文主要介绍Flink1.9中的DataStream之KafkaConnector，大部分内容翻译、整理自官网。以后有实际demo会更新。可参考kafka-connector如果关注Table API & SQL中的KafkaConnector，请参考Flink学习3-API介绍-SQL1 Maven依赖FlinkKaf
转载
2024-03-19 02:42:02
40阅读
前言之前有文章 《Flink 写入数据到 Kafka 写过 Flink 将处理后的数据后发到 Kafka 消息队列中去，当然我们常用的消息队列可不止这一种，还有 RocketMQ、RabbitMQ 等，刚好 Flink 也支持将数据写入到 RabbitMQ，所以今天我们就来写篇文章讲讲如何将 Flink 处理后的数据写入到 RabbitMQ。前提准备安装 RabbitMQ这里我直接用 doc
转载
2024-03-22 08:34:07
90阅读
Flink的Checkpoint和savepoint的区别和作用一、Flink的checkpointflink的checkpoint是异步的、分布式的、轻量级的，将同一时间点的task/operator的状态数据全局统一快照处理，包括用户自定义的keyed state和operator state 当未来程序出现问题，可以基于保存的快照容错。checkpoint的原理A：flink会在输入的数据集
转载
2024-02-20 10:38:34
73阅读
Flink提供了Exactly once特性，是依赖于带有barrier的分布式快照+可部分重发的数据源功能实现的。而分布式快照中，就保存了operator的状态信息。 Flink的失败恢复依赖于 检查点机制 + 可部分重发的数据源。 检查点机制机制：checkpoint定期触发，产生快照，快照中记录了：当前检查点开始时数据源（例如Kafka）中消息的offset。记
转载
2024-02-28 19:55:23
34阅读
Flink对接KafKa消费分词统计Demo1. 环境准备环境需要：KafKa_2.12(1.0.0以上)Java_1.8(java 8/11)Flink1.1 KafKa通过Apache KafKa官网下载KafKa，目前版本最新为KafKa_2.12-2.60，KafKa安装包内已包含Zookeeper下载完成后在本地解压可以看到文件夹KafKa_2.12-2.60 KafKa目录
转载
2024-03-27 16:31:15
267阅读
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！对于 Flink 数据流的处理，...
转载
2021-06-10 20:05:36
769阅读
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！对于 Flink 数据流的处理，...
转载
2021-06-10 20:05:35
1144阅读
对于 Flink 数据流的处理，一般都是去直接监控 xxx.log 日志的数据，至于如何实现关系型数据库数据
原创
2022-06-16 15:51:28
106阅读
Flink实战 - Binlog日志并对接Kafka实战
转载
2021-06-13 21:39:02
803阅读
1.什么是Exactly-Once 恰好处理一次的意思。不管在处理的时候是否有异常发生，计算的结果都一样。即使在发现机器或者软件故障时，都不会出现数据丢失以及重复处理的情况。（就是每条数据只会被处理一次） Flink 中哪些
转载
2024-02-12 08:22:43
27阅读
