1.什么是flink？Apache Flink十一个能够提供毫秒级延迟，同时有保证了数据处理的低延迟、高吞吐和结果的正确性的框架和分布式处理引擎，用于对无界流和有界流进行状态计算2.Flink 的重要特点？事件驱动型基于流的世界观 在Flink的世界观中，一切都是由流组成的，离线数据是有界限的流，实时数据是一个没有界限的流，这就是所谓的有界流和无界流。分层API 越顶层越抽象，表达含义越简明，使用
转载
2024-02-23 16:08:13
99阅读
开源大新闻Linux Mint 与 Mozilla 建立合作伙伴关系Signal 首席执行官辞职，WhatsApp 联合创始人代理运营 、英特尔 30 年老将 Gregory Bryant 离职开源办公套件 LibreOffice 7.3 将引入现实中不存在的语言王者荣耀、QQ 和微信使用的动画神器即将开源Linux 5.17 中 Btrfs 有良好的性能改进开源软件专区Apache Flink
Flink组件通讯过程RPC（本地/远程）调用，底层是通过Akka提供的tell/ask方法进行通信。Flink中RPC框架中涉及的主要类：1RpcGatewayFlink的RPC协议通过RpcGateway来定义，主要定义通信行为；用于远程调用RpcEndpoint的某些方法，可以理解为客服端代理。若想与远端Actor通信，则必须提供地址（ip和port），如在Flink-on-Yarn模式下，
原创
2021-03-14 10:04:40
1306阅读
文章目录： 1. Apache Flink 应用程序中的 Exactly-Once 语义2. Flink 应用程序端到端的 Exactly-Once 语义3. 示例 Flink 应用程序启动预提交阶段4. 在 Flink 中实现两阶段提交 Operator5. 总结Apache Flink 自2017年12月发布的1.4.0版本开始，为流
转载
2024-03-22 10:18:38
80阅读
1、Flink如何保证精确一次性消费Flink 保证精确一次性消费主要依赖于两种Flink机制1、Checkpoint机制2、二阶段提交机制Checkpoint机制 主要是当Flink开启Checkpoint的时候，会往Source端插入一条barrir，然后这个barrir随着数据流向一直流动，当流入到一个算子的时候，这个算子就开始制作checkpoint，制作的是从barrir来到之前的时候当
转载
2024-03-28 09:41:30
141阅读
一、概述1、什么是MQ消息中间件，通过消息的发送和消息的接收分离实现应用程序的解耦，但是这个是MQ的效果并非目的，真正的目的是为了通讯，屏蔽底层复杂的通讯协议，定义一套更加简单的通讯，一个分布式系统中两个模块之间通讯要么是HTTP，要么是自己开发的（rpc） TCP，但是这两种协议其实都是原始的协议。HTTP 协议很难实现两端通讯——模块 A 可以调用 B，B 也可以主动调用 A，如果要做到这个两
转载
2024-03-27 08:50:09
44阅读
精确一次和最少一次的主要区别在于对数据处理的一致性和可靠性的保证程度。精确一次通过复杂的两阶段提交协议确保每条数据只被处理一次，提供了最高的数据一致性保证；而最少一次则通过简单的重试机制确保数据至少被处理一次，但可能会引入数据的重复处理。在实际应用中，需要根据具体的业务需求和场景来选择适合的语义保证。对于需要严格保证数据一致性的场景（如金融交易），通常会选择精确一次语义；而对于一些对数据处理速度有较高要求且可以容忍一定程度数据重复的场景（如日志收集），则可能会选择最少一次语义。
原创
2024-04-19 18:19:30
134阅读
点赞
1.EXACTLY_ONCE语义EXACTLY_ONCE语义简称EOS，指的是每条输入消息只会影响最终结果一次，注意这里是影响一次，而非处理一次，Flink一直宣称自己支持EOS，实际上主要是对于Flink应用内部来说的，对于外部系统(端到端)则有比较强的限制外部系统写入支持幂等性 外部系统支持以事务的方式写入Flink在1.4.0版本引入了TwoPhaseC
转载
2024-03-15 08:30:13
156阅读
360深度实践：Flink与Storm协议级对比作者张馨予，360大数据计算平台负责人。北京邮电大学硕士，2015年加入360系统部，一直致力于公司大数据计算平台的易用性、稳定性和性能优化的研发工作。目前主要负责Flink的研发，完成公司计算引擎的大一统。本文从数据传输和数据可靠性的角度出发，对比测试了Storm与Flink在流处理上的性能，并对测试结果进行分析，给出在使用Flink时提高性能的建
原创
2020-11-03 20:34:43
296阅读
本文由360系统部大数据计算平台负责人张馨予，在Flink China 线下社区Meetup的演讲整理而成
转载
2021-07-07 15:47:18
203阅读
本文从数据传输和数据可靠性的角度出发，对比测试了 Storm 与 Flink 在流处理上的性能，并对测试结果进行分析，给出在使用 Flink 时提高性能的建议。
原创
2019-06-13 13:44:40
823阅读
作者：张馨予本文从数据传输和数据可靠性的角度出发，对比测试了 Storm 与 Flink 在流处理上的性能，并对测试结果进行分析，给出在使用 Flink 时提高性能的建议。Apache Storm、Apache Spark 和 Apache Flink 都是开源社区中非常活跃的分布式计算平台，在很多公司可能同时使用着其中两种甚至三种。对于实时计算来说，Storm 与 Flink 的底层计算引擎是基
转载
2022-04-20 11:04:32
187阅读
原理解析|深入了解ApacheFlink的网络协议栈曹英杰Flink中文社区曹英杰，花名北牧，2018年4月硕士毕业于北京航空航天大学，毕业后加入阿里巴巴计算平台事业部实时计算团队，主要从事阿里云实时计算的开发相关工作。Flink的网络协议栈是组成flink-runtime模块的核心组件之一，是每个Flink作业的核心。它连接所有TaskManager的各个子任务(Subtask)，因此，对于Fl
原创
2021-02-07 20:18:44
535阅读
作者：Nico KruberFlink 的网络协议栈是组成 flink-runtime 模块的核心组件之一，是每个 Flink 作业的核心。它连接所有 TaskManager 的各个子任务(Subtask)，因此，对于 Flink 作业的性能包括吞吐与延迟都至关重要。与 TaskManager 和 JobManager 之间通过基于 Akka 的 RPC 通信的控制通道不同，TaskManager
翻译
2022-04-20 10:58:50
123阅读
本文将首先介绍 Flink 暴露给流算子(Stream operator)的高层抽象，然后详细介绍 Flink 网络协议栈的物理实现和各种优化、优化的效果以及 Flink 在吞吐量和延迟之间的权衡。
原创
2019-06-25 15:08:42
725阅读
1：搭建Flintk所需的组件：这些组件是：JobManager、ResourceManager、TaskManager和Dispatcher。 （JVM）JobManager：作为主进程（masterprocess) , JobManager控制着单个应用程序的执行。换句话说，每个应用都由一个不同的JobManager掌控。（JobManager还要负责所有需要集中协调的操作，如创建检查点，建立
转载
2024-04-25 16:06:45
86阅读
一、背景说明在Flink中可以使用Window join或者Interval Join实现双流join，不过使用join只能实现内连接，如果要实现左右连接或者外连接，则可以通过connect算子来实现。现有订单数据及支付数据如下方说明，基于数据时间实现订单及支付数据的关联，超时或者缺失则由侧输出流输出//OrderLog.csv 订单数据，首列为订单id，付款成功则类型为pay（第二列），且生成支
转载
2023-11-19 07:28:12
131阅读
Flink ProcessFunction介绍及KeyedProcessFunction实例1. ProcessFunction简介2. KeyedProcessFunction简单使用2.1. [Java版本](https://github.com/fanjianhai/flink_project_maven_repository.git)2.2. [Scala版本](https://gith
转载
2024-01-31 00:57:56
98阅读
JobManager 高可用(HA)jobManager协调每个flink任务部署。它负责调度和资源管理。默认情况下，每个flink集群只有一个JobManager，这将导致一个单点故障(SPOF)：如果JobManager挂了，则不能提交新的任务，并且运行中的程序也会失败。使用JobManager HA，集群可以从JobManager故障中恢复，从而避免SPOF 。 用户在standalone或
转载
2024-05-21 18:44:04
107阅读
1、withIdleness 介绍There are two places in Flink applications where a WatermarkStrategy can be used: 1) directly on sources and 2) after non-source operation.The first option is preferable, because it a
转载
2024-05-22 20:04:20
102阅读
