1.代码层优化1.没有必要的变量直接使用2.多个地方用到的配置文件提取到公共的地方 3.用集合处理多个变量 修改为 4.冗余代码换个写法改为：5.规范注释的书写6.对于异常类的处理，如果捕捉到一定要处理，不然任务报错没有查询的地方7.配置信息从类里抽出来，直接写到配置文件里，方便查找统一修改如下：2.流程优化：对于任务算子的并行度单独设置，2.Hbase落地表分区写入
转载
2024-04-28 14:00:44
81阅读
我们是否还需要另外一个新的数据处理引擎？当我第一次听到flink的时候这是我是非常怀疑的。在大数据领域，现在已经不缺少数据处理框架了，但是没有一个框架能够完全满足不同的处理需求。自从Apachespark出现后，貌似已经成为当今把大部分的问题解决得最好的框架了，所以我对另外一款解决类似问题的框架持有很强烈的怀疑态度。不过因为好奇，我花费了数个星期在尝试了解flink。一开始仔细看了flink的几个
转载
2024-04-25 16:08:45
81阅读
行存VS列存广义的数据分析系统大致分为可以分为计算层、数据格式层和存储层。 计算层主要负责数据查询的介入和各种逻辑计算，如：MR、Spark、Flink。 存储层承载数据持久化存储，以文件语义或类似文件语义(对象存储)对接计算层。 数据格式层：定义了存储层文件的组织格式，计算层通过格式层来读写文件。严格来说并不算一个独立的层级，而是计算层上的一个Lib行存将相同行数据连续存储，因此具有更高的整行数
作者：刘松森 ，伊的家CTO，高级工程师，副教授职称，国内多所高校客座教授广州伊的家网络科技有限公司是一家专注于服务女性的B2B2C电商平台，业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自2008年孵化项目，2011年5月上线天猫商城，全国8大配送中心，妍诗美、妍膳等品牌陆续成立，并于2013年上线了伊的家自主电商平台，2020年全面启动品牌升级。伊的家以互联网主动式服务营
前言本文对 Flink 1.9版本特性进行了解读(基于社区邮件组讨论)，同时对Blink 开源版本 flink-sql-parser 模块进行学习了解，和大家一起交流分享。1. Flink 1.9 特性在6.28号 Flink 1.9功能已经Freeze掉，结合之前在社区邮件组讨论的1.9新特性，以及6.29号北京 Flink Meetup视频直播解读，整体而言，Flink 1.9特性我认为分为两
转载
2024-04-06 09:01:49
70阅读
对于Flink的 DataStream API 的使用无非是下面的流程：graph LR
a[执行环境]
b[数据源]
c[转换]
d[输出]
a-->b
b-->c
c-->d
执行环境 Execution Environment获取执行环境最简单最常见的方法就是：import org.apache.flink.streaming.api.environment.StreamE
转载
2024-09-14 23:20:15
59阅读
1.概述在流数据应用场景中，往往会通过Flink消费Kafka中的数据，然后将这些数据进行结构化到HDFS上，再通过Hive加载这些文件供后续业务分析。今天笔者为大家分析如何使用Flink消费Kafka的数据后，将消费后的数据结构化到Hive数据仓库中。2.内容Hive能够识别很多类型的文件，其中包含Parquet文件格式。因此，我们只需要将Flink消费Kafka后的数据以Parquet文件格式
转载
2024-03-18 20:01:25
80阅读
一：Spark SQL下的Parquet使用最佳实践1，过去整个业界对大数据的分析的技术栈的Pipeline一般分为一下两种方式：A）Data Source -> HDFS -> MR/Hive/Spark(相当于ETL) -> HDFS Parquet -> SparkSQL/impala -> Result Service(可以放在DB中，也有可能被通过JDBC/
转载
2024-03-29 16:35:09
59阅读
1 练习讲解(此处自己没跑通，以后debug) 题目见flink---实时项目---day02kafka中的数据，见day02的文档GeoUtilspackage cn._51doit.flink.day07;
import ch.hsr.geohash.GeoHash;
import com.alibaba.fastjson.JSON;
import com.alibaba.fas
转载
2024-03-12 13:10:52
39阅读
Table API 和 Flink SQL第一章 整体介绍1.1 什么是 Table API 和 Flink SQLFlink本身是批流统一的处理框架，所以Table API和SQL，就是批流统一的上层处理API。目前功能尚未完善，处于活跃的开发阶段。Table API是一套内嵌在Java和Scala语言中的查询API，它允许我们以非常直观的方式，组合来自一些关系运算符的查询（比如select、f
flink与iceberg的集成一、概述二、 iceberg优势三、Flink+ Iceberg搭建使用3.1 准备3.2 创建catalogs和使用catalogs3.2.1 Hive catalog3.2.2 Hadoop catalog3.2.3 Custom catalog3.2.4 Create through YAML config3.3 DDL命令3.4 sql读写3.4.1 Sq
转载
2024-01-04 05:19:34
59阅读
## 使用Flink Java API读取Parquet文件
### 1. 简介
Apache Flink 是一个流处理框架，通过 Flink Java API 可以实现大规模数据处理。而 Parquet 文件是一种列式存储格式，通常用于大数据场景下的数据存储与分析。在本文中，我们将讨论如何使用 Flink Java API 读取 Parquet 文件的数据。
### 2. 流程概述
以下
原创
2024-05-29 11:39:20
121阅读
## Flink写Hive Parquet Writer数
在大数据处理中，数据的存储和格式非常重要。Hive是一个用于数据仓库的数据存储系统，而Parquet是一种高效的列存储文件格式。在Flink中，我们可以使用Hive Parquet Writer来将数据写入Hive表中，以便更好地管理和查询数据。
### Hive Parquet Writer
Hive Parquet Writer
原创
2024-03-31 03:34:23
80阅读
1 Flink简介1.1 初识FlinkFlink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成员是Stratosphere系统的核心开发人员，2014年12月，Flink一跃成为Apache
转载
2024-04-03 10:52:49
49阅读
Flink之FileSink将数据写入parquet文件在使用FileSink将数据写入列式存储文件中时必须使用forBulkFormat,列式存储文件如ORCFile、ParquetFile,这里就以ParquetFile为例结合代码进行说明.在Flink1.15.3中是通过构造ParquetWriterFactory然后调用forBulkFormat方法将构造好的ParquetWriterFa
转载
2024-07-01 18:21:03
65阅读
简介 之前所介绍的流处理
API
，无论是基本的转换、聚合，还是更为复杂的窗口操作，其实都 是基于
DataStream
进行转换的；所以可以统称为
DataStream API
，这也是
Flink
编程的核心。 而我们知道，为了让代码有更强大的表现力和易用性，
Flink
本身提供了多层
转载
2024-04-17 13:54:41
149阅读
FileSink<User> parquetFileSink = FileSink
// 使用Bulk模式,并配置路径和对应的schema
.forBulkFormat(new Path("/Users/xxx/data/testData/"), parquetWriterFactory2)
// 分桶策略,使用默
转载
2024-06-22 08:49:17
20阅读
文章目录一、架构图二、数据及思路三、代码1、主线代码2、主线代码中用到的ToJSONMapFunction类3、主线代码中用的FlinkUtils4、ToJSONMapFunction用到的GeoUtils类5、LogBean四、技术点五、Maven依赖相关 一、架构图① flume将埋点日志采集到kafka中② 从kafka中拉取数据，完成数据的过滤、维度的关联、主题的拆分③ 在关联地理位置信
转载
2023-07-12 20:52:38
190阅读
watermark的作用watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用watermark机制结合window来实现。 我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的。虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络、背压等原因，导致乱序的产生（out-of-order或者说late
转载
2024-05-05 14:21:26
88阅读
看完本文，你能get到以下知识
Flink 流处理为什么需要网络流控？Flink V1.5 版之前网络流控介绍Flink V1.5 版之前的反压策略存在的问题Credit的反压策略实现原理，Credit是如何解决 Flink 1.5 之前的问题？对比spark，都说flink延迟低，来一条处理一条，真是这样吗？其实Flink内部也有Buffer机制，Buffer机制具体是如何实现的？Flin
转载
2024-04-03 08:12:40
79阅读
