Flink系列文章
1 概念
- Flink学习1-基础概念
- Flink-水位
- Flink-作业提交流程
- 浅析背压(Back Pressure)机制及其在 Spark & Flink中的实现
- Java-SPI在Flink中的应用
- 漫画 | flink watermark 一定只能用时间戳衡量???
- 深入解析 Flink 的算子链机制
- Flink State 误用之痛,竟然 90% 以上的 Flink 开发都不懂
- Flink1.10系列:状态管理解读
- Flink 1.11 Unaligned Checkpoint 解析
- Flink 1.11 新特性详解:【非对齐】Unaligned Checkpoint 优化高反压
- 深入解读 Flink 资源管理机制
- Flink 端到端 Exactly-once 机制剖析
- 一文搞懂 Flink 的 Exactly Once 和 At Least Once
2 安装和配置
- Flink学习2-安装和启动
3 使用
3.1 概览
- Flink学习3-API介绍
3.2 DataStream
3.2.1 概览
- Flink-DataStream-HDFSConnector(StreamingFileSink)
- HDFS租约与Flink StreamingFileSink
- Flink学习-DataStream-KafkaConnector
3.2.2 原理
- Flink Kafka 端到端 Exactly-Once 分析
3.2.3 例子
- Flink-StreamingFileSink-自定义序列化-Parquet批量压缩
- Flink-使用rowtime且分窗,Connector读取Kafka写入MySQL例子
3.3 Table&Sql API
3.3.1 概念
- Flink学习4-流式SQL
- Flink-FilesystemConnector和HiveConnector
- Flink-流式SQL源码分析
- Flink-时间窗口源码分析
- 阿里伍翀-flinkSql1.11demo 补链: https://ververica.cn/developers/demo-flink-sql/
3.3.2 原理
- Flink 原理与实现:Table & SQL API
- Flink SQL 如何实现数据流的 Join
3.3.3 使用
- flink sql 去重算法优化
- Flink SQL 实战:HBase 的结合应用
- Flink 双流 Join 的3种操作示例
- Flink 使用 broadcast 实现维表或配置的实时更新
4 流平台
- Flink-流平台调研
- Flink-Zeppelin On FlinkSql
- BIGO 实时计算平台建设实践
- bilibili 实时平台的架构与实践
- 爱奇艺实时计算平台这样做
- 汽车之家基于 Flink 的实时 SQL 平台设计思路与实践
5 Flink和其他技术
- HDFS租约与Flink StreamingFileSink
- Flink-Zeppelin On FlinkSql
- Flink 如何读取和写入 Clickhouse?
- Structured Streaming VS Flink
6 常见问题
- Flink学习6-常见问题
- 在 Flink 算子中使用多线程如何保证不丢数据?
7 新特性
- Flink 1.10
- Flink 1.11
- Flink 1.12
8 源码
8.1 源码编译
- 官网-Building Flink from Source
- Flink 源码解析 —— 源码编译运行 来自阿里大佬zhisheng_blog
- Flink源码编译部署Flink 简单明了
- Flink 1.10源代码编译,基于Flink release-1.10分支 mvn clean install -T 2C -Dfast -Dmaven.compile.fork=true -DskipTests -Dscala-2.11快速编译
8.2 源码解析
- Flink-基于Netty的网络通信
- 阅读源码|Spark 与 Flink 的 RPC 实现
- 两个递归彻底搞懂operator chain
8.3 源码二次开发和Bug修复
- Flink-源码Bug修复和二次开发实践
9 博客
- Flink官方博客
10 教程
- Apache Flink 钉钉群直播教程-基础篇
- Apache Flink 钉钉群直播教程-进阶篇
- Apache Flink 钉钉群直播教程-实时数仓篇
- Flink 社区最全学习渠道汇总
11 应用和实践
11.1 综合
- Apache Flink在滴滴的应用与实践
- bilibili 实时平台的架构与实践
- 日均处理万亿数据!Flink在快手的应用实践与技术演进之路
- Flink 在有赞实时计算的实践
11.2 实时数仓
- 实时数据架构,终于有人把他说清楚了!
- ULTRON — 基于Flink的实时数仓平台
- Flink1.11+Hive批流一体数仓
- 生产实践 | Flink 如何建设实时公共画像维表?
- 网易云音乐基于 Flink + Kafka 的实时数仓建设实践
- 进击的 Flink:网易云音乐实时数仓建设实践
- 当 TiDB 与 Flink 相结合:高效、易用的实时数仓
- 基于 Flink + Hive 构建流批一体准实时数仓
- 王者荣耀背后的实时大数据平台
- 腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践
- 滴滴基于 Flink 的实时数仓建设实践
- 基于 Flink 的典型 ETL 场景实现方案
- 字节跳动基于Flink的MQ-Hive实时数据集成
- 美团点评 Flink 实时数仓应用经验分享
- 美团点评基于 Flink 的实时数仓平台实践
- 菜鸟实时数仓技术架构演进
- 知乎实时数仓架构演进
- 小米流式平台|实时数仓架构演进与实践
- OPPO 数据中台之基石:基于 Flink SQL 构建实数据仓库
11.3 实时分析
- 生产实践 | Flink + 直播(三)| 如何建设当前正在直播 xx 数?
- 基于Flink的用户行为日志分析系统
- Apache Flink OLAP引擎性能优化及应用
- Flink在快手实时多维分析场景的应用
- 趣头条基于Flink+ClickHouse的实时数据分析平台
- 基于 Flink 的超大规模在线实时反欺诈系统的建设与实践
11.4 实时监控
- 利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏
- 从 0 到 1 搭建一套 Flink 的监控系统
- Flink全链路延迟的测量方式
11.5 机器学习
- Flink 在机器学习领域的生产落地
- 如何用一套引擎搞定机器学习全流程?
11.6 实时数据湖
- 基于 Flink+Iceberg 构建企业级实时数据湖
- 网易:Flink + Iceberg 数据湖探索与实践
11.7 实时数据同步
- 基于Binlog与Flink实时同步数据仓库实践
- 基于Binlog实时同步数据仓库问题总结
11.8 优化实践
- 快手基于 Apache Flink 的优化实践
- Flink RocksDB 状态后端参数调优实践
- 如何提高 CPU 利用率?Flink 该如何设定并行度?调大并行度一定会提高 Flink 吞吐吗?
- 并行度改变引发的血案
- Flink SQL CDC 上线!我们总结了 13 条生产实践经验
- Flink 使用大状态时的一点优化
- Flink State 最佳实践
- 如何在 Flink 中规划 RocksDB 内存容量?
- 阿里巴巴大规模应用Flink的踩坑经验:如何大幅降低 HDFS 压力?
11.9 实时推荐
- Flink + 强化学习搭建实时推荐系统
- 基于Flink商品实时推荐系统项目
11.10 实时数据采集
- 基于Flink的日志采集
- 基于 Apache Flink 的实时 Error 日志告警
11.11 其他
- Flink去重系列,共四篇
12 面试
- Flink面试通关手册
- Flink面试指南 | 终于等到你,Flink PMC葵花宝典正式发布
- Flink学习面试灵魂40问答案!
- Flink 灵魂两百问,这谁顶得住? zhisheng
13 社区
- 如何从 0 到 1 参与 Flink 社区?
- Flink Contributor 速成指南