Kafka Producer 发送数据（1）生产者概览（1）不同的应用场景对消息有不同的需求，即是否允许消息丢失、重复、延迟以及吞吐量的要求。不同场景对Kafka生产者的API使用和配置会有直接的影响。 （2）Kafka发送消息的主要步骤 消息格式：每个消息是一个ProducerRecord对象，必须指定消息所属的Topic和消息值Value，此外还可以指定消息所属的Partition以及消息的K
转载
2024-05-22 10:13:32
180阅读
JSON的定义 一种轻量级的数据交换格式，具有良好的可读和便于快速编写的特性。业内主流技术为其提供了完整的解决方案（有点类似于正则表达式 ，获得了当今大部分语言的支持），从而可以在不同平台间进行数据交换。JSON采用兼容性很高的文本格式，同时也具备类似于C语言体系的行为。 XML的定义
转载
2023-12-27 13:31:56
96阅读
Kafka的高吞吐率是一个使用起来很不错的性能，其中有如下几点原因：一、Broker NIO异步消息处理，实现了IO线程与业务线程分离Kafka的网络通信模型是基于NIO的Reactor多线程模型来设计的，这里先引入Kafka源码中注释。An NIO socket server. The threading model is1 Acceptor thread that handles new co
转载
2024-04-01 13:22:39
92阅读
为啥有logback？ Logback为取代log4j而生。
Logback由log4j的创立者Ceki Gülcü设计。以十多年设计工业级记录系统的经验为基础，所创建的logback比现有任何记录系统更快、占用资源更少，有时差距非常大
0. 需要添加的 JAR 包
logback-core.jar – logback 核心包，必备
slf4j-api.jar – 通用日志接口包，可以
大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。写在前面在我们基本了解了 kafka 服务端的各个角色以及一些机制之后，在这一小节对 kafka 一些特性进行总结。一、各个特性基础总结1、高并发这个通常是说一个系统能承受大量的连接，已经非常高的并发；在 kafka 中，主要是得益于优秀的网
转载
2024-05-07 12:58:58
238阅读
Kafka是一种高吞吐量的分布式发布订阅消息系统。那么Kafka的高并发究竟如何实现呢，对于一个新手来说是一脸的茫然，感觉一点都不好用，还不如activemq好用。经过一番实践，终于搞清楚了kafka的并发，这里分享给大家，欢迎批评指正。1、搭建Kafka环境。下载windows版本或linux版本的kafka，我这里的版本是kafka_2.12-2.2.0。这里以windows环境下的为例：下载
转载
2023-09-17 19:58:45
334阅读
服务器端响应的数据格式在真实的项目中，服务器端大多数情况下会以JSON对象作为响应数据的格式。当客户端拿到响应数据时，要将JSON数据和HTML字符串进行拼接，然后将拼接的结果展示在页面中。在http请求与响应的过程中，无论是请求参数还是响应内容，如果是对象类型，最终都会被转换为对象字符串进行传输。请求报文在http请求和响应的过程中传递的数据块就叫报文，包括要传送的数据和一些附加信息；俩部分报文
转载
2024-04-12 15:41:32
443阅读
消息队列Kafka高可靠性原理深度解读上篇 Kakfa起初是由LinkedIn公司开发的一个
分布式的消息系统
，后成为Apache的一部分。 它使用Scala编写，以【可水平扩展】和【高吞吐率】而被广泛使用。 高可用性 ：
可水平扩展,
副本（replication）策略 kafka 集群既不是同步，也不是异步：同步复制要求所有能工作的follower都复制完，这条
转载
2024-05-22 09:35:13
75阅读
## 如何计算 JSON 报文大小并优化
在现代的网络应用中，JSON（JavaScript Object Notation）被广泛用于数据交换。无论是前端与后端的通信，还是微服务之间的交互，JSON报文的大小都会影响到性能与用户体验。因此，合理地计算和优化JSON报文的大小显得尤为重要。在本文中，我们将通过一个示例，展示如何在Python中计算JSON报文的大小，并提出优化方案。
### 一
原创
2024-10-19 08:49:50
84阅读
# Python计算JSON报文大小的项目方案
在现代企业应用中，数据交互的格式通常采用JSON（JavaScript Object Notation），由于其简洁性和易于解析的特点，使得JSON成为了API通信和数据存储的标准格式之一。本项目旨在实现一个简单的Python程序来计算任意JSON报文的大小，以帮助开发者评估网络传输的开销。
## 项目背景
在进行系统设计时，了解数据的大小对于
原创
2024-10-18 09:21:54
98阅读
# 如何拼接JSON请求报文
在Java中，我们经常需要发送JSON格式的请求报文给服务器进行数据交互。拼接JSON请求报文的过程主要包括构建JSON对象、将JSON对象转换为字符串，并发送HTTP请求。下面我们来看一下如何通过Java代码来实现这个过程。
## 构建JSON对象
在Java中，我们通常使用第三方库如`org.json`或`Gson`来操作JSON数据。这里以`org.jso
原创
2024-02-20 07:21:21
275阅读
这段时间因为工作关系一直在忙于消息中间件的发开，现在趁着项目收尾阶段分享下对kafka的一些使用心得。kafka的原理我这里就不做介绍了，可参考http://orchome.com/kafka/index 这里我重点给大家介绍下kafka生产者的使用kafka可分为新旧版本，旧版本(0.8Scala版本)我们不去研究，新版本(0.9和0.10)增加了异步发送的API示例代码如下pom.xml增加依
转载
2024-09-18 09:38:07
38阅读
.NET 框架的 Socket 类实际上是 Winsock32 API 提供的套接字服务的托管代码版本。其中Socket 类为网络通信提供了一套丰富的方法和属性，大多数情况下，Socket 类方法只是将数据封送到它们的本机Win32 副本中并处理任何必要的安全检查。Socket 类允许使用 ProtocolType 枚举中所列出的任何一种协议执行异步和同步数据传输。Socket 类遵循异步方法的
Kafka定期为那些超过磁盘空间阈值的topic进行日志段的删除。这个阈值由broker端参数log.retention.bytes和topic级别参数retention.bytes控制，默认是-1，表示Kafka当前未开启这个留存机制，即不管topic日志量涨到多少，Kafka都不视其为“超过阈值”。如果用户要开启这种留存机制，必须显式设置log.retention.bytes（或retenti
转载
2024-03-18 07:18:50
53阅读
从零开始实现基于go-zero框架的微服务电商项目（三）——gorm、redis、腾讯云SMS、validate、md5加密、日志输入到kafka的添加项目地址：liuxianloveqiqi/XianShop: 使用go-zero搭建的电商项目 (github.com)开始我们在service里面新建一个utils包，里面就放上面的一些加入gorm和redis的初始化在common包下新建文件i
简介多租户保证： 同一个partition内的顺序性； consumer能够按序看到日志文件中的记录； 对于副本因子为N的topic，即使N-1个服务器宕机，已经提交到日志的记录能够不被丢失。用作消息系统： 简化了传统消息系统的两种概念：queuing publish-subscribe 将topic中的每一个partition分配给组里的一个consumer，能够保证同一个partit
转载
2024-02-29 12:58:55
30阅读
JSON与XML的区别比较
1.定义介绍(1).XML定义扩展标记语言 (Extensible Markup Language, XML) ，用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 XML使用DTD(document type definition)文档类型定义来组织数据;格式统一，跨平台和语言，早已成为业界公认的
转载
2023-07-06 15:04:05
929阅读
1. application/x-www-form-urlencoded最常见的方式，get请求和一些参数较少的post请求会采用这种格式来传输数据，在jmeter中，如果不指定content-type，默认便是application/x-www-form-urlencoded；其提交的数据按照 key1=val1&key2=val2 的方式进行编码，key 和 val 都进行了 URL
转载
2023-05-30 13:43:08
1122阅读
在学习web前端Ajax时需要进行前端后端交互，这时候我们需要了解什么是请求报文，什么是响应报文，我们前端需要用到哪些？1. 请求报文一个HTTP请求报文由请求行（request line）、请求头部（header）和请求主体3个部分组成。1.1 请求行请求行由三部分组成：请求方法，请求URL（不包括域名），HTTP协议版本 请求方法比较多：GET、POST、HEAD、PUT、DELETE、OPT
转载
2023-12-01 20:15:47
86阅读
1.专用名词分区 日志（Log） 不考虑多副本的情况，一个分区对应一个日志 Log 对应一个- 的文件名日志 日志分段（LogSegment） Log和LogSegment不是纯粹物理意义上的概念。 Log在物理上以文件夹形式存储 LogSegment对应于磁盘上的一个日志文件和两个索引文件，以及其他可能的文件（比如事物索引文件）activeSegment 表示当前活跃的LogSegment。 向
转载
2024-06-01 15:36:53
433阅读
