Watermark 策略简介 #
为了使用事件时间语义，Flink 应用程序需要知道事件时间戳对应的字段，意味着数据流中的每个元素都需要拥有可分配的事件时间戳。其通常通过使用 TimestampAssigner API 从元素中的某个字段去访问/提取时间戳。时间戳的分配与 watermark 的生成是齐头并进的，其可以告诉 Flink 应用程序事件时间的进度。其可以通
转载
2024-08-15 16:32:40
58阅读
initializeState 先查询是否开启isCheckpointingEnabled配置，如果没开，但是使用了EXACTLY_ONCE或者AT_LEAST_ONCE语义，就报错。 然后从checkpoint中保存的state中读取nextTransactionalIdHintState。 NEXT_TRANSACTIONAL_ID_HINT_DESCRIPTOR现在使用v2版本，如果chec
转载
2024-05-09 23:44:59
141阅读
注：用的切图和标注全是用的IOS的，以750*1334的尺寸进行标注的
自定义的 九宫格控件 LotteryView ：
package com.uratio.demop.lottery;
import android.content.Context;
import android.graphics.Bitmap;
import android.graphics.Canvas;
import
转载
2024-06-01 21:16:48
28阅读
自定义表盘之前看过一个大神得文章，也是自定义精美表盘的博客，正好自己在自定义View这一块比较薄弱，所以决定用自己得方法来实现一个表盘样式，来锻炼自己：实现这个表盘大体需要如下几个步骤： - 绘制外层圆形 - 绘制表盘的刻度 - 绘制表盘上的时间 - 绘制时分秒的指针 - 绘制指针交叉点 - 计算当前时间，重新绘制首先介绍一下相关的属性/**
* 设置画布中心点
*
介绍在开发现代应用程序时，数据验证是确保用户输入的正确性和应用程序数据完整性的关键方面。Spring Boot 提供了强大的数据验证机制，使开发者能够轻松地执行验证操作。本文将深入介绍 Spring Boot 中的 Validation，以及如何在应用程序中正确使用它。为什么使用数据验证？1.用户输入的正确性：数据验证是确保用户输入的正确性的一种重要手段。通过验证用户输入的数据，可以防止无效或错误
本文基于slf4j 1.7.25 目录0. 基本概念介绍1. 简单实用示例2. 加载解析配置logback配置文件源码解析3. 加载解析配置文件拓展点3.1 标签对应复杂对象，默认用NestedComplexPropertyIA解析执行3.2 标签对应的是简单对象，默认用NestedBasicPropertyIA解析执行4. 使用Logger打印流程解析及拓展点5. 总结 logback妙用之自定
生产者生成数据的数据，按自定义key做hashcode进行分区
原创
2018-03-26 10:04:05
4371阅读
点赞
Apache Flink是一种流处理和批处理的混合引擎，它提供了一套丰富的APIs，以满足不同的数据处理需求。在本文中，我们主要讨论Flink中的三个核心机制：窗口（Windows）、水位线（Watermarks）和定时器（Timers）。1. 窗口在流处理应用中，一种常见的需求是计算某个时间范围内的数据，这种时间范围就是所谓的窗口。根据实际需求，Flink提供了各种类型的窗口，例如滚动窗口与滑动
Kafka整合SpringBoot准备工作假设你了解过 SpringBoot 和 Kafka。1、SpringBoot2、KafkaKafka 的话可以看看的博客 ： Kafka 安装及快速入门 ，学习的话自己开台虚拟机自己手动搭建环境吧，有条件的买服务器。3、版本Kafka服务版本为 kafka_2.11-1.1.0 (Scala)， 也就是1.1.0Kafka的spring
logback access event 自定义字段一、logback介绍二、logback-access介绍 2.1 logback-access.xml 配置 三、使用问题 &
转载
2024-05-15 11:14:40
85阅读
在调用Kafka的Producer API时，如果没有指定分区器，那么数据将会根据默认分区器的算法均分
原创
2022-11-03 14:16:32
157阅读
文章目录kafka 1.1 创建Topic时 分区分配分析分区副本分配方式不考虑机架因素进行分区分配主要方法`assignReplicasToBrokersRackUnaware`代码分区下标计算方法情况模拟考虑机架因素进行分区分配 kafka 1.1 创建Topic时 分区分配分析分区分配指的是为集群创建Topic时的partition的副本分配，就是Topic的partition分配在哪些b
转载
2024-02-11 08:18:13
77阅读
好久没发过kafka的文章了，今天整理一下kafka-manager神器。 java环境要求 jdk8 kafkamanager源码下载 https://github.com/yahoo/kafka-manager/releases 编译 先修改sbt源，否则会报错，而且非常慢 在～/.sbt目录下增加一个文件repositor
转载
2024-06-05 00:28:43
37阅读
对于那种大批量机器组成的集群环境，每分钟产生的日志量都能以 GB 数，因此如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上，就成为一个非常重要的问题。分区是实现负载均衡以及高吞吐量的关键，故在生产者这一端就要仔细盘算合适的分区策略，避免造成消息数据的“倾斜”，使得某些分区成为性能瓶颈，这样极易引发下游数据消费的性能下降。 分区的概念 Kafka
转载
2024-01-03 23:25:57
132阅读
kafka的API第一步：导入kafka的开发jar包 Kafka生产者@Test public void kafkaProducer() throws Exception { //1、准备配置文件 Properties props = new Properties(); props.put("bootstrap.servers", "had
原创
2021-06-02 18:24:09
538阅读
为什么要了解这些名词的解释呢？因为在学一个新的知识或者领域的时候，我们需要知道它所定义的概念和名词意思，因为只有这样我们才能理解和掌握这个新的知识点，才能更加系统的掌握这个技术。一.名词解释1.broker Kafka单个节点称为broker，一个Kafka服务就是一个broker，多个broker可以组成一个Kafka集群. 2.topic (主题) topic相当于传统消息系统MQ中的一
转载
2024-04-26 14:19:11
62阅读
在使用 Kafka 进行消息传递时，创建自定义主题（topic）是一个重要的操作。通过此博文，我将为大家分享如何在 Java 环境中实现 Kafka 创建 topic 的自定义配置。接下来，我们将按照以下结构进行深入探讨：环境准备、分步指南、配置详解、验证测试、排错指南和扩展应用。
## 环境准备
在开始创建 Kafka topic 之前，需要确保我们的开发环境已经准备妥当。以下是前置依赖的安
1:创建方式有两种创建方式： 1：通过shell命令 kafka-topics.sh 创建一个 topic，可以设置相应的副本数让 Server 端自动进行 replica 分配，也可以直接指定手动 replica 的分配。 2：Server 端如果 auto.create.topics.enable 设置为 true 时，那么当 Producer 向一个不存在的 topic 发送数据时，该 to
转载
2024-03-05 13:55:35
286阅读
pom.xml：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"
原创
2022-11-10 00:44:03
188阅读
这篇文章主要讲kafka producer端的编程，通过一个应用案例来描述kafka在实际应用中的作用。如果你还没有搭建起kafka的开发环境，可以先参考：<kafka开发环境搭建>首先描述一下应用的情况：一个站内的搜索引擎，运营人员想知道某一时段，各类用户对商品的不同需求。通过对这些数据的分析，从而获得更多有价值的市场分析报表。这样的情况，就需要我们对每次的搜索进行记录，当然，不太可
原创
精选
2023-05-29 11:54:54
309阅读
