一、Flink CDC 2.2 概览经过3个多月的紧张开发，在社区开发者们的共同努力下，Flink CDC 2.2 版本正式发布了：Release Release-2.2.0 · ververica/flink-cdc-connectors · GitHub2.2 版本共有 34 位社区贡献者参与贡献，累计贡献了 110+ commits。一图胜千言，本文通过下图带你一分钟快速了解 Flink C
转载
2023-09-20 16:32:41
85阅读
问题简述Bulk load主要面向需要大批量的向HBase导入数据的场景。这种方式是先生成HBase的底层存储文件 HFile，然后直接将这些 HFile 移动到HBase的存储目录下。它相比调用HBase的put API添加数据，处理效率更快并且对HBase 运行影响更小。 业务使用bulkload+scan的模式非常普遍，往往是一个离线任务bulkload一批文件后，就启动另一个离线任务去读所
转载
2023-07-20 23:48:45
150阅读
流处理架构以Apache Flink为代表的第三代流处理引擎能够帮助用户实现有状态的流处理应用程序，先要搞清楚有状态和无状态计算指什么。有状态 vs 无状态 计算有状态计算指的是在计算过程中产生的中间计算结果，并且后续的计算过程需要使用，而无状态计算不会产生或存储中间计算结果，下一步计算也不会用到，像Spark或者Flink这些计算引擎会将用户应用程序转换成用有向无环图(DAG)表示的计算图，通常
转载
2024-02-27 10:29:01
86阅读
前言最近的工作主要是在向实时计算平台方向迁移，之前的实时计算任务都是用Flink DataStream API开发的，对于DBA或者分析人员来说，可能开发代码能难度太大，所以我们打算把API封装好做成Flink SQL对外提供服务。那么其中就要涉及到一些是社区不提供的某些功能，比如与业务紧密结合的自定义函数，比如一些Source和Sink的连接器。下面我就给大家讲一讲 如何基于Flink1.11.
转载
2023-08-09 10:04:26
165阅读
本文章只针对“微型集群处理大数据”的场景。场景描述：硬件：5个节点，每个节点可用硬盘1块（700G、500G等）、8核cpu，实验室环境（有时候还要跑其他程序跟你抢占资源），16G内存。软件：hadoop-0.20.2-cdh3u2，hbase-0.90.4-cdh3u2。业务：sina微博12亿转发微博，700w用户信息。bzip压缩后共150G。要求就是将这些数据入库并且恢复关注和粉丝列表，建
转载
2023-09-04 19:33:48
44阅读
我们在做实时数据开发的时候，通常要用spark、flink去消费kafka的数据，拿到数据流后会和外部数据库(Hbase、MySQL等)进行维表关联来把数据流打宽。当然了，有些外部数据库不只是存储维度数据，也会有很多事实数据，并且这些数据更新频繁，数据量巨大，但是我们的Flink流也会去实时的join这些巨大的事实表，这就需要选择一个合适的外部数据库作为支持，这个外部数据库一定要满足
转载
2023-07-18 13:17:19
125阅读
1.如果是csa(Cloudera Streaming Analytics)版本的高版本
Hbase可以参考Cloudera官方例子，通过引入官方提供的
flink-
hbase来实现<dependency>
<groupId>org.apache.
flink</groupId>
<artifactId>
flink-
hbase_2.11&l
转载
2023-06-13 18:19:54
618阅读
手把手教你如何写一个FLink Connecter(一)--sink connector篇前言flink sql目前逐渐被各大公司采用用于做实时数据。相比较代码coding的形式。使用flink sql更加的直观,开发成本更加低廉。目前flink sql中最重要的连接器也支持了各个大型的生态组建。如：Kafka,DynamoDB,Firehose,Kinesis,JDBC,Elasticsearc
转载
2023-08-04 16:45:36
493阅读
1.概述Flink提供了三个模块来对集群进行安全验证，分别是HadoopModule、JaasModule、ZooKeeperModule。安全认证相关参数对应的类SecurityOptions。HadoopModule用来对使用UserGroupInformation进行身份验证的框架（kudu、hbase同步框架、hdfs等）进行认证配置。 JaasModule用来对使用JaasConfig进
转载
2023-09-04 13:32:22
215阅读
1. 处理流程：通过flink 从kafka 中获取到数据， 然后在sink 到hbase 中
数据结构
{"address":"深圳","age":20,"createTime":"2021-12-08 22:30","id":1,"name":"hdfs"}2.Hbase 建表hbase(main):002:0> create 'wudluser','cf', { NUMREGIONS
转载
2023-09-20 16:27:45
169阅读
Hbase是一个分布式的、面向列的开源数据库，是hadoop项目的子项目，不同于一般的数据库，是一个适合非机构化数据结构存储的数据库，是一个基于列而不是行的模式。在hadoop生态圈的角色是实时、分布式、高维数据的数据存储。一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库。在HBase中上面的表格只是一行数据。 &
转载
2023-12-05 23:30:57
59阅读
前言这周的主要时间花在Flink上面，做了一个简单的从文本文件中读取数据，然后存入数据库的例子，能够正常的实现功能，但是遇到个问题，我有四台机器，自己搭建了一个standalone的集群，不论我把并行度设置多少，跑起来的耗时都非常接近，实在是百思不得其解。机器多似乎并不能帮助它。 把过程记录在此，看后面随着学习的深入能不能解答出这个问题。尝试过的修复方法集群搭建出现这个问题后，我从集群的角度来进行
转载
2024-05-29 08:13:56
259阅读
文章目录一、确定慢请求是否突然暴增二、慢请求暴增可能的因素1、系统繁忙导致的慢请求2、GC导致的慢请求3、系统故障导致的慢请求4、HDFS因素三、系统负载高根因排查1、CPU 持续飙高2、IO负载持续打满3、导致 IO 负载升高的情况汇总用户请求突增Hbase在进行大量compactStoreFile 数量增多缓存命中率变低四、总结 一、确定慢请求是否突然暴增查看RegionServer日志，搜
转载
2023-09-01 11:22:58
220阅读
1. 自定义Sink写入hbase？使用的是原生的hbase客户端，可以自己控制每多少条记录刷新一次。遇到了几个坑导致数据写不到hbase里边去：集群hbase版本和客户端版本不一致（版本1和版本2相互之间会有冲突）Jar包冲突例如protobuf-java版本冲突，常见的是两个关键错误，java.io.IOException: java.lang.reflect.InvocationTarget
转载
2023-09-06 18:18:25
221阅读
1.背景Hbase 作为大数据存储的佼佼者，在数据查询方式有很大的优势，如何能更快的数据查询，一直是用户的需求。hbse程序操作都是客户端通过scan操作来执行，通过设置合理的参数，就可以实现查询。虽然hbse查询默认的参数就可以满足大多数需求，但是，一些用户在使用的时候还是不能很好设置参数，加快查询，常见的问题： 已经设置了filter为什么查询还是那么慢？ 已经设置se
转载
2023-07-12 21:51:39
100阅读
目录HBaseUtil工具类API介绍获取表存储数据获取数据批量存储数据批量获取数据删除数据最终代码 HBaseUtil工具类 前面我们实现了Flink整合Kafka，可以从Kafka中获取数据进行分析，分析之后我们要把结果存入HBase中，为了方便操作，我们先提前编写一个操作HBase的工具类。HBase作为一个数据库，我们肯定要进行数据的增删改查，那么我们就围绕这几个操作进行开发。API介绍
转载
2023-08-05 01:01:52
362阅读
1、前言大家在开发Flink的时候，很多时候会把某些固定的维度信息存储在Hbase或者Redis等这些第三方库里，已方便来跟流发生关联查询输出。本文将从如何本地搭建一个Hbase环境开始讲起，到如何构建一个Hbase公共调用类，到如何构建一个异步调用Hbase的公共代码，再到最后实际调用代码后的输出。2、本地利用Docker搭建HBase环境 本地如何搭建Docker环境，之前一篇博客中
转载
2023-09-04 14:17:21
112阅读
背景接入Kafka实时数据经过数据处理写入HBase，后续会应用于类似变量系统以及实时日志中，对于变量系统这类中间需要做实时缓存宽表可能使用HBase连接极其频繁，所以是使用客户端还是Sink的方式就看实际情况而定，具体数据处理后的落库Sink还是比较方便的；摘要关键字Flink，Sink，HBase，数据处理，数据流转设计使用的是Max Well数据源，将业务数据接入Kafka，Flink-So
转载
2023-07-06 21:30:59
72阅读
1. 异常突起 HBase集群的某一个RegionServer的CPU使用率突然飙升到百分之百，单独重启该RegionServer之后，CPU的负载依旧会逐渐攀上顶峰。多次重启集群之后，CPU满载的现象依然会复现，且会持续居高不下，慢慢地该RegionServer就会宕掉，慢慢地HBase集群就完犊子了。2. 异常之上的现象 CDH监控页面来看，除CPU之外的几乎所有核心指标都是正常的，磁盘和网络
转载
2024-02-05 21:07:05
108阅读
前提概要：之前我们已经实现了动态分流，即通过TableProcessFunction1类把维度数据和事实数据进行了分流处理，接下来就是把数据写入Hbase表和Kafka主题表中：hbaseDS.addSink(new DimSink());
kafkaDS.addSink(kafkaSink);此时的动态分流后的2种数据类型大致为：在代码注释种我已经详尽地介绍了输出数据的情况和代码逻辑，接下来我
转载
2023-09-14 20:46:13
386阅读
