点击上方“zhisheng”，选择“设为星标”一、状态分类相对于其他流计算框架，Flink 一个比较重要的特性就是其支持有状态计算。即你可以将中间的计算结果进行保存，并提供给后续的计算使用： 具体而言，Flink 又将状态 (State) 分为 Keyed State 与 Operator State。1.1 算子状态算子状态 (Operator State)：顾名思义，状态是和算子进行绑定的，
转载
2024-01-31 11:07:04
246阅读
# HBASE Flink中使用指南
## 1. 简介
HBase是一个分布式的、面向列的开源NoSQL数据库，它基于Hadoop的HDFS存储系统，适用于海量数据的存储和访问。Flink是一个用于流处理和批处理的开源分布式计算引擎。本文将指导你如何在HBase和Flink中进行集成和使用。
## 2. 整体流程
下面的表格展示了整个HBase Flink的集成和使用过程：
| 步骤 |
原创
2023-10-23 19:38:32
105阅读
目录0. 相关文章链接1. State Vs Checkpoint2. Checkpoint执行流程2.1. 简单流程2.2. 复杂流程3. State状态后端/State存储介质3.1. MemStateBackend3.2. FsStateBackend3.3. RocksDBStateBackend4. Checkpoint配置方式4.1. 全局配置4.2. 在代码中配置5. 代码
## 如何在 Flink 中使用 MySQL
### 一、整体流程
在 Flink 中使用 MySQL 主要分为以下几个步骤：
```mermaid
erDiagram
Customer ||--o{ Order : has
Order ||--|{ LineItem : contains
Customer {
int id
strin
原创
2024-03-29 08:11:48
160阅读
01 Apache Flink Python API 的前世今生和未来发展1. Flink 为什么选择支持 PythonApache Flink 是流批统一的开源大数据计算引擎，在 Flink 1.9.0 版本开启了新的 ML 接口和全新的Python API架构。那么为什么 Flink 要增加对 Python 的支持，下文将进行详细分析。最流行的开发语言 Python 本身是非常优秀的
原创
2021-03-26 21:08:42
627阅读
本文根据 Apache Flink 系列直播课程整理而成，由 Apache Flink PMC，阿里巴巴高级技术专家 孙金城 分享。重点为大家介绍 Flink Python API 的现状及未来规划，主要内容包括：Apache Flink Python API 的前世今生和未来发展；Apache F ...
转载
2021-10-11 11:19:00
250阅读
2评论
目录1. HBase1.1. 概述1. HBase1.1. 概述特性HBase是一个NoSQL数据库，一般我们用它来存储海量的数据（因为它基于HDFS分布式文件系统上构建的）HBase的一行记录由一个RowKey和一个或多个的列以及它的值所组成。先有列族后有列，列可以随意添加。HBase的增删改记录都有「版本」，默认以时间戳的方式实现。RowKey的设计如果没有特殊的业务性，最好设计为散列的，这样
转载
2023-08-01 20:03:57
57阅读
如何在ApacheFlink1.10中使用PythonUDF?孙金城（金竹）Flink中文社区在ApacheFlink1.9版中，我们引入了PyFlink模块，支持了PythonTableAPI。Python用户可以完成数据转换和数据分析的作业。但是，您可能会发现在PyFlink1.9中还不支持定义PythonUDFs，对于想要扩展系统内置功能的Python用户来说，这可能有诸多不便。在刚刚发布的
原创
2021-02-06 10:00:22
500阅读
简介： 本文将为大家介绍用户如何定义 UDF，并完整展示了如何安装 PyFlink，如何在 PyFlink 中定义/注册/调用 UDF，以及如何执行作业。镜像下载、域名解析、时间同步请点击 阿里巴巴开源镜像站一、安装 PyFlink我们需要先安装 PyFlink，可以通过 PyPI 获得，并且可以使用 pip install 进行便捷安装。注意: 安装和运行 PyFlink 需
转载
2021-12-13 22:44:54
290阅读
简介： 本文将为大家介绍用户如何定义 UDF，并完整展示了如何安装 PyFlink，如何在 PyFlink 中定义/注册/调用 UDF，以及如何执行作业。镜像下载、域名解析、时间同步请点击 阿里巴巴开源镜像站一、安装 PyFlink我们需要先安装 PyFlink，可以通过 PyPI 获得，并且可以使用 pip install 进行便捷安装。注意: 安装和运行 Py
转载
2022-02-16 22:36:46
148阅读
作者：孙金城（金竹）在 Apache Flink 1.9 版中，我们引入了 PyFlink 模块，支持了 Python Table API。Python 用户可以完成数据转换和数据分析的作业。但是，您可能会发现在 PyFlink 1.9 中还不支持定义 Python UDFs，对于想要扩展系统内置功能的 Python 用户来说，这可能有诸多不便。在刚刚发布的 ApacheFlink 1.10 中，
转载
2022-04-20 11:17:25
425阅读
简介： 本文将为大家介绍用户如何定义 UDF，并完整展示了如何安装 PyFlink，如何在 PyFlink 中定义/注册/调用 UDF，以及如何执行作业。
镜像下载、域名解析、时间同步请点击 阿里巴巴开源镜像站
一、安装 PyFlink我们需要先安装 PyFlink，可以通过 PyPI 获得，并且可以使用 pip install 进行便捷安装。
注意: 安装和运行 PyFlink 需
转载
2021-11-28 18:31:31
216阅读
Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能，用户可以通过 Flink 来访问 Hive 的元数据，以及读写 Hive 中的表。本文将主要从项目的设计架构、最新进展、使用说明等方面来介绍这一功能。 Flink on Hive 介绍 SQL 是大数据领域中的重要应用
转载
2019-08-29 16:39:00
124阅读
2评论
作者：李锐 介绍：阿里巴巴技术专家，Apache Hive PMC，加入阿里巴巴之前曾就职于 Intel、IBM 等公司，主要参与 Hive、HDFS、Spark 等开源项目。 Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能，用户可以通过 Flink 来访问 Hiv
转载
2019-12-27 15:20:00
62阅读
2评论
flink中使用lambda表达式1、使用lambda的一个示例2、使用上面这种写法通常或得到如下错误3、解
原创
2022-06-14 20:09:26
371阅读
如何在Flink1.9中使用Hive？李锐Flink中文社区ApacheFlink从1.9.0版本开始增加了与Hive集成的功能，用户可以通过Flink来访问Hive的元数据，以及读写Hive中的表。本文将主要从项目的设计架构、最新进展、使用说明等方面来介绍这一功能。FlinkonHive介绍SQL是大数据领域中的重要应用场景，为了完善Flink的生态，发掘Flink在批处理方面的潜力，我们决定增
原创
2021-02-07 23:39:44
599阅读
介绍：阿里巴巴技术专家，Apache Hive PMC，加入阿里巴巴之前曾就职于 Intel、IBM 等公司，主要参与 Hive、HDFS、Spark 等开源项目。 Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能，用户可以通过 Flink 来访…
转载
2022-12-12 09:28:16
136阅读
l把元素广播给所有的分区，数据会被重复处理•类似于storm中的allGrouping•dataStream.broadcast()l广播变量允许编程人员在每台机器上保持1个只读的缓存变量，而不是传送变量的副本给tasksl广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点。另外需要记住，不应该修改广播变量，这样才能确保每个节点获取到的值都是一致的l一句话解释，
转载
2024-05-08 14:32:39
76阅读
slf4j，即简单日志门面（Simple Logging Facade for Java），不是具体的日志解决方案，它只服务于各种各样的日志系统。按照官方的说法，SLF4J是一个用于日志系统的简单Facade，允许最终用户在部署其应用时使用其所希望的日志系统。比如用户可以自己选择使用 log4j 或是 log4j2 。slf4j 的 maven 配置如下：<dependency>
&
转载
2024-10-16 16:28:51
106阅读
1.18.3.Flink Catalog介绍 1.18.3.1.引言 1.18.3.2.Catalog 定义 1.18.3.3.Catalog 的实现 1.18.3.4.Catalog 使用举例1.18.3.Flink Catalog介绍1.18.3.1.引言以下转自：http://legendtkl.com/2020/07/26/flink-catalog/这篇文章我们介绍了一下 Flink 的
