这段时间因为工作关系一直在忙于消息中间件的发开，现在趁着项目收尾阶段分享下对kafka的一些使用心得。kafka的原理我这里就不做介绍了，可参考http://orchome.com/kafka/index 这里我重点给大家介绍下kafka生产者的使用kafka可分为新旧版本，旧版本(0.8Scala版本)我们不去研究，新版本(0.9和0.10)增加了异步发送的API示例代码如下pom.xml增加依
转载
2024-09-18 09:38:07
38阅读
# Java按报文格式拆分报文
在网络通信中，常常需要将数据按照特定的报文格式进行拆分和解析。Java作为一种广泛使用的编程语言，提供了丰富的字符串处理和正则表达式功能，可以很方便地实现报文的拆分和解析。本文将介绍如何使用Java按报文格式拆分报文，并提供相应的代码示例。
## 报文格式
报文一般由头部和数据部分组成，头部用于描述数据的元信息，数据部分则是实际的数据内容。报文格式可以是固定长
原创
2024-02-02 06:05:02
112阅读
昨天我们谈了怎么建立socket通信的服务端和客户端，今天我们就来谈一谈怎么封装报文。什么是报文这里我就不在阐述了，不清楚的朋友可以自己去查资料。我们今天要谈的报文主要友以下几个部分组成：3位同步校验位+8位报文长度+报文头+报文体+32位MD5校验位基本格式如下：0X110X120X1300000232<?xml version="1.0" encoding="GBK"?><R
转载
2023-09-02 10:59:21
98阅读
从零开始实现基于go-zero框架的微服务电商项目（三）——gorm、redis、腾讯云SMS、validate、md5加密、日志输入到kafka的添加项目地址：liuxianloveqiqi/XianShop: 使用go-zero搭建的电商项目 (github.com)开始我们在service里面新建一个utils包，里面就放上面的一些加入gorm和redis的初始化在common包下新建文件i
简介多租户保证： 同一个partition内的顺序性； consumer能够按序看到日志文件中的记录； 对于副本因子为N的topic，即使N-1个服务器宕机，已经提交到日志的记录能够不被丢失。用作消息系统： 简化了传统消息系统的两种概念：queuing publish-subscribe 将topic中的每一个partition分配给组里的一个consumer，能够保证同一个partit
转载
2024-02-29 12:58:55
30阅读
1、Kafka 0.7.x 消息格式（1）magic：这个占用1个字节，主要用于标识 Kafka 版本。这个版本的 Kafka magic有 0 和 1 两个值，不过默认 Message 使用的是 1；（2）attributes：占用1个字节，这里面存储了消息压缩使用的编码。这个版本的 Kafka 仅支持 gzip 和 snappy 两种压缩格式；后四位如果是0001则标识gzip压缩，如果是00
转载
2024-03-21 11:24:21
133阅读
# Java根据报文大小拆分实现方法
## 一、流程概述
为了帮助你理解如何实现Java根据报文大小拆分，我将会给你一个整体的流程概览。我们将会按照以下步骤来实现：
```mermaid
journey
title Java根据报文大小拆分流程
section 理解需求
开发者理解需求
section 编写代码
开发者编写代码
原创
2024-07-03 05:19:16
43阅读
TCP 是一种字节流（byte-stream）协议，流的含义是没有固定的报文边界。假设你调用 2 次 write 函数往 socket 里依次写 500 字节、800 字节。write 函数只是把字节拷贝到内核缓...
转载
2020-03-19 19:45:00
342阅读
2评论
1. 序列化一条消息 消息有 key 和 value kafka 提供了基础数据类型的序列化工具，对于业务的自定义类需要自行实现序列化 ProducerRecord 是对象，含 KV 和 headers，此时的 KV 还是对象 在 KafkaProducer#doSend 中会对 KV 进行序列化，
原创
2022-11-15 15:08:04
488阅读
一、充电参数配置阶段BMS充电机1、向充电机发送“动力蓄电池充电参数报文BCP”。2、充电机等待是否收到“动力蓄电池充电参数报文BCP”。(1)、是，配置充电参数，向BMS发送“充电机发送时间同步信息报文CTS”和“充电机最大输出能力报文CML”。(2)、否，返回充电握手辨识阶段的3.1。3、BMS等待是否收到“充电机发送时间同步信息报文CTS”和“充电机最大输出能力报文CML”。(1)、是，判断
TcpDump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。
和Linux终端状态下的其他软件一样，TcpDump也是依靠参数来工作，本文将结合实例来说明。
数据过滤
不带任何参数的TcpDump将搜索系统中所有的网络接口，并显示它截获的所有数据，这些数据对我们不一定全都需要，而且数
转载
2024-09-12 23:49:40
221阅读
Kafka Producer 发送数据（1）生产者概览（1）不同的应用场景对消息有不同的需求，即是否允许消息丢失、重复、延迟以及吞吐量的要求。不同场景对Kafka生产者的API使用和配置会有直接的影响。 （2）Kafka发送消息的主要步骤 消息格式：每个消息是一个ProducerRecord对象，必须指定消息所属的Topic和消息值Value，此外还可以指定消息所属的Partition以及消息的K
转载
2024-05-22 10:13:32
180阅读
（一）简介： 丰富的过滤器插件的存在是 logstash 威力如此强大的重要因素。名为过滤器，其实提供的不单单是过滤的功能，它们扩展了进入过滤器的原始数据，进行复杂的逻辑处理，甚至可以无中生有的添加新的 logstash 事件到后续的流程中去！ Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好
前言 官网http://spark.apache.org/docs/latest/streaming-kafka-integration.html，spark版本为1.6.1，由于某些部分比较绕口，所以这里并没有完全遵照官网进行翻译。正文 Apache Kafka是一个实现发布-订阅方式的
转载
2024-07-18 17:35:18
47阅读
一、问题描述 今天开发了一个kafka消费者数据接收的功能，基本过程为分别启动本地的kafka服务和代码程序，在服务端手动发送消息，代码来进行接收消费。经测试，代码功能正常，但是再接收到一条kafka消息之后，便开始在后台疯狂打印日志，如图： ... .2020-08-26 17:00:37.651
原创
2021-10-25 10:36:41
1332阅读
作为一个有丰富经验的微服务系统架构师，经常有人问我，“应该选择RabbitMQ还是Kafka？”。基于某些原因， 许多开发者会把这两种技术当做等价的来看待。的确，在一些案例场景下选择RabbitMQ还是Kafka没什么差别，但是这两种技术在底层实现方面是有许多差异的。不同的场景需要不同的解决方案，选错一个方案能够严重的影响你对软件的设计，开发和维护的能力。第一篇文章介绍了RabbitMQ和Apac
转载
2024-06-26 14:06:00
32阅读
linux curl发送文件背景web方式终端curl方式libcurl方式socket 长链接方式接收数据题外话：ros topic 发布一次可能会接收不到数据 背景linux 下要实现传输图片到服务器，然后想到了用curl 上传到go-fastdfs(基于http的分布式文件里系统)gitee链接，这个不同于服务器，是和服务器独立开来的. 上传文件的话有web方式和终端curl方式和libc
转载
2024-08-11 22:28:45
183阅读
1、概述：学习kafka前，先了解下消息队列的两种形式：（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）该系统的典型应用就是订单处理系统，其中每个订单将有一个订单处理器处理，但多个订单处理器可以同时工作。（2）发布/订阅模式（一对多，消费者消费数据之后不会清除消息）消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到topi
一、kafka的定位 kafka给自身的定位是流处理平台，包含三个层面的意思: 1)能够发布订阅流记录。类似普通的消息系统。 2)能够对消息进行存储。并且这种存储具有很强的容灾能力。 3)当流记录产生的时候，能够非常方便的对流记录进行处理。
转载
2023-11-23 21:38:54
61阅读
对数据进行拆分了。有垂直和水平两种。垂直拆分比较简单，也就是本来一个数据库，数据量大之后，从业务角度进行拆分多个库。如下图，独立的拆分出订单库和用户库。水平拆分的概念，是同一个业务数据量大之后，进行水平拆分。分库分表方案：分库分表方案最主要就是路由算法，把路由的key按照指定的算法进行路由存放。1. hash取模方案优点:数据可以均匀地放到表中，不会有热点问题缺点：将来的数据迁移和扩容，会很难2.
转载
2019-04-24 10:13:00
350阅读
2评论
