offset什么时候提交主要看是否开启了checkpoint开启了checkpoint 情况1： 用户通过调用 consumer上的setCommitOffsetsOnCheckpoints(true) 方法来启用 offset 的提交(默认情况下为 true ) 那么当 checkpointing 完成时，Flink Kafka Consumer 将提交的 offset 存储在 checkpoi
转载
2024-03-22 09:02:00
87阅读
背景
监控是Spark非常重要的一部分。Spark的运行情况是由ListenerBus以及MetricsSystem 来完成的。通过Spark的Metrics系统，我们可以把Spark Metrics的收集到的信息发送到各种各样的Sink，比如HTTP、JMX以及CSV文件。目前支持的Sink包括：
ConsoleSink
CSVSink
JmxSink
MetricsServlet
Gr
转载
2021-06-11 22:18:38
423阅读
在 Flink 1.10 中SQL正式生产，在尝试使用的时候，遇到了这样的问题： KafkaTableSink 的 'update-mode' 只支持 ‘append’，如下面这样：CREATE TABLE user_log_sink (
user_id VARCHAR,
item_id VARCHAR,
category_id VARCHAR,
转载
2024-03-22 09:08:03
150阅读
Kafka是由LinkedIn开发的一个分布式的消息系统，同时支持离线和在线日志处理。
Kafka框架本身使用Scala编写，因其可水平扩展和高吞吐率而被广泛使用。目前，越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。
Kafka的持久化方案是写入磁盘，虽然内存读写速度明显快过磁盘读写速
转载
2024-03-17 00:00:45
12阅读
首先，这是一篇干货满满的文章，学海无涯，愿你拥有耐心。Kafka是什么?Apache Kafka是一个开源消息系统，由Scala和Java写成。是由Apache软件基金会开发的一个开源消息系统项目。最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。Kafka官网：Apache
转载
2024-03-20 20:52:03
46阅读
Catalog 类型以下内容来自官网：Hive Catalog 支持Flink 元数据的持久化存储，以前一直用 Hive Catalog 存，偶尔需要用的时候把 Hive Catalog 开启（需启动 hive metastore 和 hiveserver2，还要启动 Hadoop），大部分时候是不用 Catalog，好像也无所谓，最近用得多了，觉得很麻烦（夏天到了，服务起太多笔记本烫手） ?va
转载
2024-03-20 12:49:01
84阅读
1.kafka设置消息过期时间 a） 进入kafka配置文件夹 cd /opt/kafka/config/默认的是在server.properties 文件里面b）需要修改和配置项如下：log.retention.hours=168 (配置该参数即可) log.cleanup.policy=delete （默认，可不配置）c） 修改配置后重启kaf
转载
2024-03-07 14:36:48
417阅读
Author：赵志乾
Date：2018-10-20
Declaration：All Right Reserved！！！1、kafka系统的运行条件首先，kafka服务端代码使用scala语言开发，其最终运行于JVM上，故需要安装JRE。其次，kafka的一些元数据由zookeeper来保存，并且由zookeeper来监控kafka代理服务器的在线情况，故需要安装zookeeper。2、操作系统版
转载
2023-12-15 04:57:35
64阅读
作者 | 草捏子在《Kafka消费者的使用和原理》中已经提到过“再均衡”的概念，我们先回顾下，一个主题可以有多个分区，而订阅该主题的消费组中可以有多个消费者。每一个分区只能被消费组中的一个消费者消费，可认为每个分区的消费权只属于消费组中的一个消费者。但是世界是变化的，例如消费者会宕机，还有新的消费者会加入，而为了应对这些变化，让分区所属权的分配合理，这都需要对分区所属权进行调整，也就是所谓的“
转载
2023-11-29 15:27:10
54阅读
0、要点 Flink的分区列不会存数据，也就是两个列有一个分区列，则文件只会存另一个列的数据1、CreateTable 根据SQL的执行流程，进入TableEnvironmentImpl.executeInternal，createTable分支} else if (operation instanceof CreateTableOperation) {
CreateTableOper
转载
2024-10-08 15:01:39
107阅读
**实时数据流处理及其应用**
> 作者：智能助手
>
> 时间：2022年9月30日
: Data
}
class PrintSink {
+writeData(data: Data): void
}
原创
2023-09-03 10:14:09
144阅读
Flink提供了Kafka connector用于消费/生产Apache Kafka topic的数据。Flink的Kafka consumer集成了checkpoint机制以提供精确一次的处理语义。在具体的实现过程中，Flink不依赖于Kafka内置的消费组位移管理，而是在内部自行记录和维护consumer的位移。用户在使用时需要根据Kafka版本来选择相应的connector，如下表所示：Ma
转载
2024-03-17 10:55:39
282阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》1 工程目录结构2 flink 读取Kafkapackage com.atguigu.day8import java.util.Propertiesimport org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsum.
原创
2021-06-10 20:19:19
669阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》1 工程目录结构2 flink 读取Kafkapackage com.atguigu.day8import java.util.Propertiesimport org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsum.
原创
2021-06-10 20:19:20
1160阅读
前面已经介绍了如何利用Thrift Source生产数据，今天介绍如何用Kafka Sink消费数据。 其实之前已经在Flume配置文件里设置了用Kafka Sink消费数据agent1.sinks.kafkaSink.type = org.apache.flume.sink.kafka.KafkaSink
agent1.sinks.kafkaSink.topic = TRAFFIC_LOG
转载
2023-07-07 13:29:40
75阅读
高性能： KafkaSink 被设计为高性能的组件，能够处理大规模的数据流，并以低延迟将数据发送到 Kafka。其底层使用 Kafka 生产者 API，充分利用 Kafka 的并发性和批量处理能力。配置灵活： 用户可以通过配置参数定制 KafkaSink 的行为，包括 Kafka 服务器地址、主题名称、生产者配置等。这种灵活性使得 KafkaSink 可以适应不同场景和需求。Exactly-Onc
转载
2024-09-24 08:49:30
180阅读
spring项目：1、pom.xml文件（1）xml文件被编译 代码中的<include>**/*.properties</include>可以让spring项目中的的properties也被编译，如果写的是 <include>**/*.xml</include&
转载
2024-03-04 13:46:11
167阅读
# Redis 配置配置指南
## 1. 引言
在本篇文章中，我将向你介绍如何配置 Redis。Redis 是一个开源的内存数据库，常用于缓存、会话管理和消息队列等应用场景。我们将通过一系列步骤来配置 Redis，并为每个步骤提供相应的代码示例和注释。
## 2. 配置步骤
下面是配置 Redis 的整体流程，我们将通过一个流程图来展示具体的步骤：
```mermaid
flowchart
原创
2023-12-05 09:52:52
106阅读
# 理解与实现“XML配置、注解配置、Java配置”
在Java开发中，我们通常需要配置各种组件以便它们能够正常工作。常见的配置方式有XML配置、注解配置和Java配置。本文将逐步介绍这三种配置方式的实现方法，并通过实例代码加以说明。
## 整体流程
在进行配置之前，我们需要明确整个流程如下：
| 步骤 | 描述 |
使用 properties 配置文件装配 bean 的方式
在spring中将bean 注册到spring 容器中常见的有三种方式（两类）：先说明配置文件内容：application.yml，有一段配置如下persons:
youtube:
name: youtube
age: 18
google:
转载
2023-06-14 08:25:16
409阅读
