摘要：本文作者刘杰，介绍了顺丰科技数仓的架构，趟过的一些问题、使用 Hudi 来优化整个 job 状态的实践细节，以及未来的一些规划。主要内容为：数仓架构Hudi 代码躺过的坑状态优化未来规划顺丰科技早在 2019 年引入 Hudi ,当时是基于 Spark 批处理，2020 年对数据的实时性要求更高公司对架构进行了升级，在社区 Hudi on Flink 的半成品上持续优化实现 Binlog 数
转载
2024-05-28 19:25:23
93阅读
目录一、概述二、Hudi 架构三、Hudi的表格式1）Copy on Write（写时复制）2）Merge On Read（读时合并）3）COW vs MOR四、元数据表（Metadata Table）五、索引（Indexing）六、查询类型（Query Type）1）Snapshot Queries(快照查询)2）Incremental Queries(增量查询)3）Read Optimized
一、安装部署Flink 1.12 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 1.准备tar包 flink-1.13.1-bin-scala_2.12.tgz 2.解压 t
原创
2022-06-10 19:17:03
3513阅读
数据湖Hudi-9-Hudi集成Flink-核心参数&内存优化一、核心参数解读1.并发参数2.压缩参数3. 文件大小二、内存优化1.内存参数2. MOR内存优化配置3.COW内存优化配置 一、核心参数解读1.并发参数1.参数说明2.案例演示 可以flink建表时在with中指定，或Hints临时指定参数的方式：在需要调整的表名后面加上 /*+ OPTIONS() */insert int
转载
2023-09-09 07:31:22
193阅读
组件版本 组件 版本 Java 1.8.251 Scala 1.12.14 Flink
原创
2021-10-08 14:41:50
1086阅读
点赞
1评论
关于HBase的sink的所有内容均在org.apache.flume.sink.hbase包下。 每个sink包括自己定制的，都extends AbstractSink implements Configurable。 一、首先是configure(Context context)方法。该方法是对HBaseSink的参数初始化。主要包括以下几个： tableName：要写入的HBase
# 如何实现“Java Flink Hudi”
## 一、整体流程
下面是实现“Java Flink Hudi”的步骤表格：
```mermaid
pie
title 流程步骤
"Step 1" : 了解需求
"Step 2" : 准备环境
"Step 3" : 编写Flink程序
"Step 4" : 集成Hudi
"Step 5" : 执行
原创
2024-04-05 05:26:45
70阅读
前言好久没有更新 “好” 文章了，内心很过意不去，怎么变的这么懒了，哈哈哈哈哈正好，最近数据湖的概念火的一塌糊涂，特别是 Hudi ， 与 Flink 的结合越来越好，可以说 Flink + Hudi 就是未来的趋势，这不，我就来简单讲讲，给 “小白”当个引路人，让知识传播给大家，毕竟我也是从小白看着别人的文章过来的Hudi概述Apache Hudi (简称：Hudi) 使得您能在hadoop兼容
转载
2023-08-18 17:02:10
80阅读
一、介绍Flink是分布式大数据处理框架，那么网络通信就离不开了，从目前来看，几乎所有的开源的大型软件，尤其是Java的，基本已经不再倾向于自己写底层网络通信，毕竟有很多可以使用的Rpc网络通信框架可以来完善使用，Flink也是如此，它是基本Akka Rpc这款Rpc通信框架的。二、分析1、服务端先看一下测试代码的最基础的通信代码（RpcEndPointTest.java）：public inte
转载
2024-03-19 19:45:11
30阅读
文章目录集成Flink环境准备sql-client方式启动sql-client插入数据查询数据更新数据流式插入code 方式环境准备代码类型映射核心参数设置去重参数并发参数压缩参数文件大小Hadoop参数内存优化读取方式流读（Streaming Query）增量读取（Incremental Query）限流写入方式CDC 数据同步离线批量导入全量接增量写入模式Changelog 模式Append
转载
2024-03-27 08:05:26
200阅读
# Flink写入Hudi Hive的完整指南
随着大数据技术的发展，Apache Flink因其强大的实时数据处理能力而备受欢迎。而Apache Hudi则用于高效地处理大量数据集合，并将其存储在HDFS或S3上，并能与Hive紧密集成。在这篇文章中，我们将学习如何将Flink数据写入Hudi Hive。
## 流程概述
下面是实现“Flink写入Hudi Hive”的流程图：
```m
原创
2024-10-07 05:43:42
67阅读
Flink是一个分布式流处理框架，支持批处理和流处理。Flink的数据处理方式有三种：DataSet、DataStream和Table。
1. DataSet：DataSet是Flink中的批处理API，用于处理有限的、静态的数据集。它适用于离线数据处理，可以对数据进行批量处理和转换。
2. DataStream：DataStream是Flink中的流处理API，用于处理无限的、动态的数据流。
数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式一、读取方式1 流读（Streaming Query）二、限流三、写入方式1.CDC 数据同步1.使用第二种方式 cdc+kafka进行mysql数据同步到hudi2.离线批量导入3.全量接增量四、写入模式1、Changelog模式2 Append 模式六、Bucket索引七、Hudi CataLog七、离线
转载
2023-07-14 17:09:28
257阅读
1、概述官网：https://hudi.apache.orggitee：https://gitee.com/apache/Hudi1.1 架构1.2 特点Upserts, Deletes with fast, pluggable indexing.Incremental queries, Record level change streamsTransactions, Rollbacks, Con
原创
精选
2022-07-28 20:43:09
571阅读
关于“hudi 集成 flink hive”的实战记录，本文将详细探讨环境准备、集成步骤、配置详解、实战应用、排错指南及性能优化等多个方面，以帮助读者深入掌握 Hudi 与 Flink、Hive 的协作模式。
### 环境准备
首先，需要为“hudi 集成 flink hive”配置一个合适的开发环境。我们将依赖以下技术栈：
- Apache Flink
- Apache Hudi
- Ap
版本flink 版本： Flink 1.12.5Scala版本：2.12Hudi版本：0.9.0将hudi-flink-bundle_2.12-0.9.0.jar放入flink的lib目录下。
原创
2022-01-07 14:36:16
2475阅读
# Flink SQL 写 hudi 最近在做一个数据湖项目，基于 Hudi 的湖仓一体项目，计算引擎是 Flink + Spark 之前稍稍研究了一下数据湖的三个主要技术组件 IceBerg，以为可能会用，在网上看资料的时候，同样也发现，IceBerg 对 Flink 比较亲和，Hudi 对 Sp ...
转载
2021-07-19 08:17:00
1366阅读
2评论
版本flink 版本： Flink 1.12.5Scala版本：2.12Hudi版本：0.9.0将hudi-flink-bundle_2.12-0.9.0.jar放入flink的lib目录下。
原创
2021-09-28 17:58:37
6097阅读
# Flink Hudi Sink Java：流式数据同步到Hudi
Apache Flink 是一个开源的分布式流处理框架，用于处理无界和有界数据流。Apache Hudi（Hadoop Upserts and Deletes）是一个用于存储大规模分析型工作负载的框架，它提供了一种将数据存储在Hadoop上并进行增量处理的方法。将 Flink 与 Hudi 结合使用，可以有效地将流式数据同步到
原创
2024-07-19 08:07:52
163阅读
standalone 模式的高可用部署flink 使用zookeeper协调多个运行的jobmanager,所以要启用flink HA 你需要把高可用模式设置成zookeeper，配置zookeeper相关参数，并且在masters配置文件中配置所有的jobmanager主机地址和web UI 端口在一下例子中，我们配置node1,node2,node3三个jobmanager编辑conf/mas
转载
2024-04-25 12:08:55
34阅读
