当你点进这个博客的时候，你应该是遇到了和我一样的问题：通常情况下我们运行flink作业时，都会将State存储到HDFS，比如：env.setStateBackend(new RocksDBStateBackend("hdfs://hadoop100:8020/tmp/flink/checkpoints",true).getCheckpoint
转载
2024-06-11 10:16:38
300阅读
背景因为项目需要，之前基于Hadoop+yarn+flink+hdfs+hive 构建一套文件存储体系，但是由于Hadoop商业发行版cdh和hdp开始收费，开始思考如何构建没有hadoop生态的数据湖，搜集网上资料，尝试基于现代存储S3或者OSS来代替HDFS，使用k8s + kafka + Flink + iceberg + trino构建实时计算体系。 网上的教程大多问题很多，记录下来以作参
转载
2024-06-11 10:16:02
119阅读
flink的官网对于写入HDFS的例子比较简单，很难跑起来，缺少更详细的描述。目标： 本地代码flink streaming读取远程环境的kafka的数据，写入远程环境的HDFS中；核心代码：public static void main(String[] args) throws Exception { // set up the streaming execution...
转载
2021-06-10 19:52:01
1729阅读
数仓Hive中的数据需要读取后写入Kafka中进行数据服务输出。
原创
2023-05-08 15:39:37
486阅读
flink的官网对于写入HDFS的例子比较简单，很难跑起来，缺少更详细的描述。目标： 本地代码flink streaming读取远程环境的kafka的数据，写入远程环境的HDFS中；核心代码：public static void main(String[] args) throws Exception { // set up the streaming execution...
转载
2021-06-10 20:25:44
2478阅读
前言 上述讲到，成功将一个文件里的内容使用SQL进行了一解析（快速入门Flink SQL —— 介绍及入门）本篇文章主要会跟大家分享如何连接kafka，MySQL，作为输入流和数出的操作。一、将kafka作为输入流 &nb
转载
2023-10-05 16:30:08
183阅读
1.简单讲解对于这个简短的程序，逻辑还是非常简单的。首先创建一个流处理环境env;然后往这个环境添加数据源，比如env.socketTextStream，和env.addSource(kafkaSource);自定义算子，算子的作用是对传输过来的每一条数据进行处理，是数据处理的核心部分。在下面的程序里，我们重写了flatMap()方法，flatMap+keyBy+sum就完成了一条消息的word
转载
2024-02-23 16:08:46
111阅读
概述1.11版本最重要的特性Hive Streaming在之前的博客，包括Flink中文社区的微信公众号上，都和大家聊过不少次了。那么除此之外，还有什么特性值得大家关注呢？
CDC数据的解析：可以解析canal、debezium推到kafka中的binlog；如果在binlog中是个DELETE的操作，那么会自动解析成撤回流，将之前那条下发过的数据撤回；美中不足的是，只支持读，不支持写，这也
转载
2023-11-26 16:01:20
82阅读
一、前言大家好，我是老周，有快二十多天没有更新文章了，很多小伙伴一直在催更。先说明下最近的情况，最近项目上线很忙，没有时间写，并且组里有个同事使用 Kafka 不当，导致线上消息丢失，在修复一些线上的数据，人都麻了。事情是这样，有个 Kafka 消费者实例，部署到线上去，消费到了线上的数据，而新版本做了新的逻辑，新版本的业务逻辑与老版本的业务逻辑不兼容，直接导致消费失败，没有进行重试操作，关键还提
转载
2024-03-26 09:51:30
73阅读
使用 Flask 操作 Redis 可以通过安装 Redis 的 Python 库并在 Flask 中使用它来实现。 正式学习前，需要先确定 Redis 已安装并可正常运行 运行 redis-server.exe redis.windows.conf 启动 Redis 服务器 运行 redis-cli.exe ping 检查 Redis 服务器是否运行正常 运行 redis-cli.exe -h
转载
2023-10-20 08:56:31
85阅读
flink,kafka
flink读写kafka--写kafka介绍主要介绍实际中flink如何读取写入设置kafkaflink版本：1.13.2github地址：https://github.com/dahai1996/mdw-flink-quickstart写入kafka引入依赖<dependency>
<group
转载
2024-07-23 17:52:30
189阅读
目录1、文件系统 SQL 连接器2、如何指定文件系统类型3、如何指定文件格式4、读取文件系统4.1 开启 目录监控 4.2 可用的 Metadata5、写出文件系统5.1 创建分区表5.2 滚动策略、文件合并、分区提交5.3 指定 Sink Parallelism6、示例_通过FlinkSQL读取kafka在写入hive表6.1、创建 kafka source表用于读
转载
2024-06-06 10:00:36
115阅读
实现功能因为直接写clickhouse的分布式表在数据量比较大的时候会有各种问题，所以做了一个flink读取kafka数据然后路由写入到相应的本地表节点，并且关于不同的表的配置信息可以随时更改并设置生效时间。实现流程首先从kafka将数据读取过来然后进行相应的处理及逻辑判断写入到对应的clickhouse表格中最后根据CDC读取来的配置信息进行相应节点的hash路由，直接写入本地表读取kafka数
转载
2023-09-26 15:40:20
274阅读
HDFS读数据流程HDFS的读流程底层是由java实现的，后面还会结合源码理解怎么实现的读读数据第一步，HDFS客户端创建了一个FileSystem实例对象DistributedFileSystem,FileSystem封装了与文件系统操作的相关方法。调用DistributedFileSystem对象的**open()**方法来打开希望读取的文件。第二步，DistributedFileSystem
转载
2024-04-01 22:11:39
76阅读
大数据业务场景中，经常有一种场景：外部数据发送到kafka中，flink作为中间件消费kafka数据并进行业务处理；处理完成之后的数据可能还需要写入到数据库或者文件系统中，比如写入hdfs中；目前基于spark进行计算比较主流，需要读取hdfs上的数据，可以通过读取parquet：spark.read.parquet(path)数据实体：public class Prti { ...
原创
2021-06-10 20:29:15
1672阅读
大数据业务场景中，经常有一种场景：外部数据发送到kafka中，flink作为中间件消费kafka数据并进行业务处理；处理完成之后的数据可能还需要写入到数据库或者文件系统中，比如写入hdfs中；目前基于spark进行计算比较主流，需要读取hdfs上的数据，可以通过读取parquet：spark.read.parquet(path)数据实体：public class Prti { ...
原创
2021-06-10 20:29:16
876阅读
目录1、Kafka概念2、kafka架构3、Kafka消费模型4、实现Kafka的生产端5、实现Kafka的消费端6、Flume整合Kafka1、调整flume的配置文件，监控namenode的日志文件2、启动flume3、启动kafka控制台消费者查看数据1、Kafka概念kafka是一个高吞吐的分布式消息系统,它类似HDFS用来存储数,但HDFS是持久化的,文件数据会一直保留,而Kafka只存
转载
2024-03-21 22:15:48
241阅读
# 使用 PyTorch 读取 HDFS 数据的入门指南
在数据科学与深度学习的领域中，PyTorch 以其灵活性和易用性成为众多开发者的首选深度学习框架。然而，在处理大数据集时，我们往往需要使用 Hadoop 分布式文件系统（HDFS）来存储和访问数据。本文将介绍如何使用 PyTorch 读取 HDFS 数据，同时提供必要的代码示例及相关图示。
## HDFS 简介
HDFS 是 Hado
前言操作系统：CentOS 7Java版本：1.8.0_221Flume版本：1.8.01. Kafka Channel使用场景配合Flume Source、Flume Sink使用，为Event的传输提供一种具有高可用的Channel配合Flume Source和拦截器interceptor使用，无Sink，用于将Flume搜集的Event传输到Kafka集群指定Topic中，便于Kafka消息
转载
2024-04-06 12:24:46
306阅读
作者：陶运道 目录 第一部分 纯DDL编程模式 第二部分 table api编程模式
转载
2024-07-24 15:00:44
159阅读
