KafkaProducer源码分析Kafka常用术语Broker：Kafka的服务端即Kafka实例，Kafka集群由一个或多个Broker组成，主要负责接收和处理客户端的请求Topic：主题，Kafka承载消息的逻辑容器，每条发布到Kafka的消息都有对应的逻辑容器，工作中多用于区分业务Partition：分区，是物理概念，代表有序不变的消息序列，每个Topic由一个或多个Partion组成Re
转载
2024-09-19 11:27:46
83阅读
五、window总结1.flink支持两种划分窗口的方式（time和count）
如果根据时间划分窗口，那么它就是一个time-window
如果根据数据划分窗口，那么它就是一个count-window
2.flink支持窗口的两个重要属性（size和interval）
如果size=interval,那么就会形成tumbling-window(无重叠数据)
如果s
转载
2024-07-09 16:23:02
37阅读
回顾上一篇文章 ：package com.ruozedata.flink.flink02
import java.sql.{Connection, PreparedStatement}
import com.ruozedata.flink.fink01.Domain.Student
import com.ruozedata.flink.utils.MySQLUtils
import org.a
flink程序开发流程： 1、 set up the batch execution environment 2、get date 3、develop business logic 4、executor program用flink实现githab上面的example ：用批处理实现wordcount（java版本）：import org.apache.fli
一、背景 最近项目中使用Flink消费kafka消息，并将消费的消息存储到mysql中，看似一个很简单的需求，在网上也有很多flink消费kafka的例子，但看了一圈也没看到能解决重复消费的问题的文章，于是在flink官网中搜索此类场景的处理方式，发现官网也没有实现flink到mysql的Exactly-Once例子，但是官网却有类似的例子来解决
转载
2024-02-11 14:16:54
93阅读
# 实现MySQL CDC OP类型的步骤
## 1. 了解MySQL CDC
首先，我们需要了解什么是MySQL CDC（Change Data Capture）。MySQL CDC是一种用于捕获数据库中数据变化的技术，它可以实时捕获数据库的变更操作（如插入、更新、删除）并记录下来，以便后续做进一步的处理和分析。
在MySQL中，CDC通常通过binlog（二进制日志）来实现。binlog
原创
2023-12-19 07:43:01
158阅读
Kafka压缩消息 在介绍MemoryRecords.append()方法中，不断的写入消息并且压缩，我们看Compressor的构造函数：public class Compressor {
public Compressor(ByteBuffer buffer, CompressionType type) {
//初始化字段
this.type = typ
转载
2024-03-15 21:28:55
100阅读
Optional类型optional<T>对象是一种包装器对象，要么包装了类型T对象，要么没有包装任何对象。对于第一种情况，称这种值为存在的。Optional<T>类型被当做一种更安全的方式，用来替代类型T的引用，这种引用要么引用某个对象，要么为null。但是，它只有在正确使用的情况下才会更安全。使用Optional值有效地使用Optional的关键是要使用这样的方法：它在
Oracle实时数据抽取项目问题总结项目背景介绍项目主要是将Oracle、MySQL、SQLServer、Db2等其他数据库的实时变更数据同步到其他异构数据库中。本篇文章主要是讨论oracle的实时采集，通过Logminer捕获归档日志，然后将提取后的数据推送到Kafka中。项目使用的技术框架使用的核心框架：https://github.com/debezium/debezium 用于捕获归档日志
在Windows系统安装kafka的过程中，真是举步维艰呀，现在记录一下所遇到的坑问题1：运行kafka集成的zookeeper时，命令：bin\windows\zookeeper-server-start.bat config\zookeeper.properties，出现报错：Classpath i
https://flume.apache.org/FlumeUserGuide.html 【测试模拟】 a1.sources.r1.type = exec a1.sources.r1.command = tail -F /opt/data/access.log 【生产】
转载
2017-10-26 18:29:00
109阅读
2评论
前言上一篇提到了Python 3 的六个标准数据类型，考虑到如果全部放在一篇博客里详细展开的话，内容会很多，而且往后也会逐个深入学习和详细介绍这六个标准数据类型，因此本篇只进行一些简单的介绍。1 数字（number）Python 3支持的数字类型：int（整型）、float（浮点型）、bool（布尔型）、complex（复数型，类似a+bj）注意： （1）Python 3只有一种整型类型，即int
转载
2023-08-14 11:30:24
1135阅读
文章目录背景开始新建项目添加源码添加构建监听脚本配置vscode断点调试看看调试效果懒人开发福利 背景之前一直想搭建一个简洁的ts开发环境，奈何网上大多数文章都是说tsc和ts-node的。看了各种对比文章，各方对比之后，最终选择了esbuild。esbuild目前是vite开发环境的底层打包工具，经过了Vue3的检验。另外，它还是nest.js的生产构建工具，目前应该是发展得比较好的Node.
转载
2024-03-29 14:15:08
50阅读
媒体类型用于声明随之而来的数据的格式。又称：MIME类型、MIME Type、Content Typ
转载
2022-07-10 00:38:05
577阅读
以下列表总结了C API中可用的功能。有关更多详细信息，请参见 第27.8.7节“C API函数描述”中的说明。my_init()：在线程安全程序中初始化全局变量和线程处理程序mysql_affected_rows()：返回改变的行数/删除/插入的最后 UPDATE， DELETE或 INSERT查询mysql_autocommit()：打开/关闭自动提交模
转载
2023-08-30 20:45:40
60阅读
Type —— Java类型 Type是一个空接口，所有类型的公共接口（父接口），其意义表示Java所有类型，这里所谓的类型是从Java整个语言角度来看的，比如原始类型、参数化类型（泛型）、类型变量及其数组等，可以理解为，Class（类）是Java对现实对象的抽象，而Type是对Java语言对象的抽象。Type的子孙概述 注意区分类型（Type）与类（Class）的区别，这里Class是Typ
转载
2023-07-16 18:31:21
92阅读
文章目录 TypeScript类型系统类型的隐式和显式类型错误不会阻止JavaScript生成类型可以是环境TypeScript基础类型布尔值数字字符串数组Null和Undefined TypeScript类型系统承接TS系列上一篇的类型系统介绍：从0开始的TypeScript（一）类型系统是TypeScript中一个重要的概念。TypeScript里类型可以隐式编写也可以显式编写类型的隐式和
转载
2024-05-10 17:14:54
58阅读
# 实现Hive数据类型
作为一名经验丰富的开发者，我将教会你如何实现Hive中的数据类型。Hive是一个基于Hadoop的数据仓库工具，用于处理大规模数据。
## 流程概述
下面是实现Hive数据类型的步骤概览：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1：创建表 | 在Hive中创建一个表，定义表的字段和数据类型。 |
| 步骤2：加载数据 | 将数据加载到表中
原创
2024-02-13 10:13:44
27阅读
SpringBoot入门建站全系列（二十八）整合Kafka做日志监控一、概述Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上，并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之上。 它与Apache Storm和Spa
转载
2024-07-18 10:49:56
87阅读
MIME type的缩写为(Multipurpose Internet Mail Extensions)代表互联网媒体类型(Internet media type)，MIME使用一个简单的字符串组成，最初是为了标识邮件Email附件的类型，在html文件中可以使用content-type属性表示，描述了文件类型的互联网标准。MIME类型能包含视频、图像、文本、音频、应用程序等数据。MIME_typ
转载
精选
2014-05-05 13:55:43
5344阅读
