前言好久没有更新 “好” 文章了，内心很过意不去，怎么变的这么懒了，哈哈哈哈哈正好，最近数据湖的概念火的一塌糊涂，特别是 Hudi ， 与 Flink 的结合越来越好，可以说 Flink + Hudi 就是未来的趋势，这不，我就来简单讲讲，给 “小白”当个引路人，让知识传播给大家，毕竟我也是从小白看着别人的文章过来的Hudi概述Apache Hudi (简称：Hudi) 使得您能在hadoop兼容
转载
2023-08-18 17:02:10
80阅读
一、需求目的实时统计票数二、技术架构主要计算框架：Flink（Flink SQL)+Kafka 用到的数据存储：Mysql、HBASE（Mysql主要是存储维度表、Hbase主要用来持久化结果数据）三、Flink基础概念架构模型：Jobmanager、Taskmanager和Slot状态、Checkpoint、Excatly-once ：Checkpoint 负责定时制作分布式快照、对程序中的状态
转载
2023-11-21 16:28:20
16阅读
Flink是一个分布式的流处理引擎，而流处理的其中一个特点就是7X24。那么，如何保障Flink作业的持续运行呢？Flink的内部会将应用状态(state)存储到本地内存或者嵌入式的kv数据库(RocksDB)中，由于采用的是分布式架构，Flink需要对本地生成的状态进行持久化存储，以避免因应用或者节点机器故障等原因导致数据的丢失，Flink是通过checkpoint(检查点)的方式将状态写入到远
转载
2023-11-29 06:14:28
300阅读
# 使用HBase作为Flink的状态后端
## 简介
在Flink中，状态后端用于存储和管理作业的状态数据。HBase是一个分布式、可扩展的NoSQL数据库，它提供了高可用性和高性能的数据存储。
本文将指导一位刚入行的开发者如何将HBase作为Flink的状态后端来使用。我们将逐步介绍整个流程，并提供每一步所需的代码示例。
## 流程概览
下面是将Flink与HBase集成的整体流程：
原创
2023-12-31 10:31:12
319阅读
一、基础概念理解：state（状态）：相同于本地变量，维护计算过程中需要存储的中间数据 有以下两种类型：operator state（算子状态） 作用域：该算子在的并行任务，不同算子的任务不能访问，数据结构有 列表状态 、联合列表状态、广播状态keyed state（键控状态） 作用域：数据流中相同的key可以访问到该key对应的状态，数据结构有 值状态 、列表状态、映射状态（map）state
转载
2023-11-30 12:36:30
62阅读
前言最近的工作主要是在向实时计算平台方向迁移，之前的实时计算任务都是用Flink DataStream API开发的，对于DBA或者分析人员来说，可能开发代码能难度太大，所以我们打算把API封装好做成Flink SQL对外提供服务。那么其中就要涉及到一些是社区不提供的某些功能，比如与业务紧密结合的自定义函数，比如一些Source和Sink的连接器。下面我就给大家讲一讲 如何基于Flink1.11.
转载
2023-08-09 10:04:26
165阅读
1.概述Flink提供了三个模块来对集群进行安全验证，分别是HadoopModule、JaasModule、ZooKeeperModule。安全认证相关参数对应的类SecurityOptions。HadoopModule用来对使用UserGroupInformation进行身份验证的框架（kudu、hbase同步框架、hdfs等）进行认证配置。 JaasModule用来对使用JaasConfig进
转载
2023-09-04 13:32:22
215阅读
手把手教你如何写一个FLink Connecter(一)--sink connector篇前言flink sql目前逐渐被各大公司采用用于做实时数据。相比较代码coding的形式。使用flink sql更加的直观,开发成本更加低廉。目前flink sql中最重要的连接器也支持了各个大型的生态组建。如：Kafka,DynamoDB,Firehose,Kinesis,JDBC,Elasticsearc
转载
2023-08-04 16:45:36
493阅读
1. 处理流程：通过flink 从kafka 中获取到数据， 然后在sink 到hbase 中
数据结构
{"address":"深圳","age":20,"createTime":"2021-12-08 22:30","id":1,"name":"hdfs"}2.Hbase 建表hbase(main):002:0> create 'wudluser','cf', { NUMREGIONS
转载
2023-09-20 16:27:45
169阅读
Hbase是一个分布式的、面向列的开源数据库，是hadoop项目的子项目，不同于一般的数据库，是一个适合非机构化数据结构存储的数据库，是一个基于列而不是行的模式。在hadoop生态圈的角色是实时、分布式、高维数据的数据存储。一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库。在HBase中上面的表格只是一行数据。 &
转载
2023-12-05 23:30:57
59阅读
1.如果是csa(Cloudera Streaming Analytics)版本的高版本
Hbase可以参考Cloudera官方例子，通过引入官方提供的
flink-
hbase来实现<dependency>
<groupId>org.apache.
flink</groupId>
<artifactId>
flink-
hbase_2.11&l
转载
2023-06-13 18:19:54
618阅读
我们在做实时数据开发的时候，通常要用spark、flink去消费kafka的数据，拿到数据流后会和外部数据库(Hbase、MySQL等)进行维表关联来把数据流打宽。当然了，有些外部数据库不只是存储维度数据，也会有很多事实数据，并且这些数据更新频繁，数据量巨大，但是我们的Flink流也会去实时的join这些巨大的事实表，这就需要选择一个合适的外部数据库作为支持，这个外部数据库一定要满足
转载
2023-07-18 13:17:19
125阅读
一、Flink CDC 2.2 概览经过3个多月的紧张开发，在社区开发者们的共同努力下，Flink CDC 2.2 版本正式发布了：Release Release-2.2.0 · ververica/flink-cdc-connectors · GitHub2.2 版本共有 34 位社区贡献者参与贡献，累计贡献了 110+ commits。一图胜千言，本文通过下图带你一分钟快速了解 Flink C
转载
2023-09-20 16:32:41
85阅读
用 DataStream API 编写的程序通常以各种形式保存状态： 在 Window 触发之前要么收集元素、要么聚合 转换函数可以使用 key/value 格式的状态接口来存储状态 转换函数可以实现 CheckpointedFunction 接口，使其本地变量具有容错能力 在介绍状态之前，先了解一 ...
转载
2021-08-26 15:43:00
521阅读
2评论
写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句 [ 云之祁祁，或雨于渊 ] ，甚是喜欢。 写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发 感兴趣，可以关注我的动态 ，让我们一起挖掘数据的价值~每天都要进步一点点，生命不是要
转载
2024-03-25 15:12:05
51阅读
flink基本概念Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。有状态的流式处理(State)Managed State && Raw StateManaged State 是 Flink 自动管理的 State，而 Raw State 是原生态 State，两者的
转载
2024-03-25 11:05:31
77阅读
6.8 Flink状态编程有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。6.8.1 Flink中的状态分类Flink包括两种基本类型的状态Managed State和Raw StateManaged StateRaw State状态管理方式Flink Runtime托管, 自动存储, 自动恢复, 自动伸缩用户自己管理状态数据结
转载
2024-03-21 22:47:45
100阅读
什么是State?尽管数据流中的许多操作一次仅查看一个事件(例如事件解析器),但某些操作会记住多个事件的信息（例如窗口运算符）。这些操作称为有状态。有状态操作的一些示例：当应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列。在每分钟/小时/天汇总事件时,状态将保留待处理的汇总。在数据点流上训练机器学习模型时,状态保持模型参数的当前版本。当需要管理历史数据时,该状态允许有效访问过去发生的
转载
2024-02-23 10:15:58
79阅读
文章目录概述无状态流计算有状态流计算状态分类：算子状态(Operator State)键控状态(Keyed State)ValueState[T]ListState[T]MapState[KU,VU]ReducingState[T]AggregatingState[I, O] 聚合状态状态运用编程实例 概述流式计算分为无状态和有状态两种情况。无状态流计算无状态的计算观察每个独立事件，并根据最后一
转载
2024-03-06 08:46:41
89阅读
1、前言大家在开发Flink的时候，很多时候会把某些固定的维度信息存储在Hbase或者Redis等这些第三方库里，已方便来跟流发生关联查询输出。本文将从如何本地搭建一个Hbase环境开始讲起，到如何构建一个Hbase公共调用类，到如何构建一个异步调用Hbase的公共代码，再到最后实际调用代码后的输出。2、本地利用Docker搭建HBase环境 本地如何搭建Docker环境，之前一篇博客中
转载
2023-09-04 14:17:21
112阅读
