org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.意思是生产者发送的消息过大，大于broker的配置查看相关资料后，发现 Broker 端对 Produ
转载
2024-03-07 12:58:08
567阅读
Kafka Producer配置acks String，默认是acks=1生产者需要leader确认请求完成之前接收的应答数。acks=0 如果设置为0，那么生产者将不等待任何消息确认。消息将立刻添加到socket缓冲区并考虑发送。在这种情况下不能保障消息被服务器接收到。并且重试机制不会生效（因为客户端不知道故障了没有）。每个消息返回的offset始终设置为-1。
acks=1，这意味
转载
2024-05-17 08:28:18
81阅读
MQTT简介MQTT 是一种基于发布订阅模型的即时通讯协议,主要应用于物联网设备中配置添加依赖在project的gradle中添加远程maven仓库repositories {
maven {
url "https://repo.eclipse.org/content/repositories/paho-snapshots/"
}
}
在app的gradle中添加两个mqtt库
dependenc
转载
2024-10-17 12:02:10
85阅读
实现Qos
简介
本文介绍了在为诸如带宽敏感（bandwidth-intensive）和延迟敏感（delay-sensitive）的应用提供传输服务的网络中实现Qos所需的基础知识。这些应用需要增强的处理和扩展的网络资源。Qos可以通过管理网络中的延迟、延迟抖动（jitter）、带宽和丢包率为这些应用提供高安全、可预见的、可扩展的和有保证的服务。
什么
转载
2024-07-14 19:35:53
81阅读
生产者生产流程 32页生产者创建Kafka生产者需要三个必须参数：broker地址清单，key和value的序列化方式 (如StringSerializer)生产者发送ACKSacks 参数代表多少副本分区副本收到消息才算写入成功
0 生产者发送即不管服务器响应
1 只等待主节点响应
all 等待所有节点响应数据有序写入，有序读取如果消息不含key，则默认轮询使用分区。 如果消息包含key，则默认
转载
2024-06-23 11:31:54
123阅读
这里就简单记录一下 其中遇到比较常见的一些东西吧。
比如jmx的地址：service:jmx:rmi://localhost:1099/jndi/rmi://localhost:8899/mynameservice:jmx: 是JMX URL的标准前缀，所有的JMX URL都必须以该字符串开头。第一个rmi指的是rmi连接器，表示连接器使用RMI传输协议【RMI连接器被指定为默认的连接器】loca
针对语音流量： 延时 < 150 ms* 抖动 < 30 ms* 丢包率 < 1%* 负荷带宽：17-106 kbps guaranteed priority bandwidth per call 控制带宽：150 bps (+ Layer 2 overhead) guaranteed bandwidth for voicecontrol traffic per c
转载
2024-03-21 19:34:25
232阅读
当前基于kafaka最新版 kafka_2.12-2.2.1.tgz 进行配置 。官网地址：http://kafka.apache.org/introkafka的一些基础知识 参考：http://www.hechunbo.com/index.php/archives/140.html最新版 kafka_2.12-2.2.1.tgz 进行配置 。单机生产者消费者图解配配置，多机模拟配置。以及文件读写
转载
2024-08-07 10:27:15
66阅读
之前的系统中使用了Kafka，不过对于Kafka的运行机制一直不太了解，同时也不知道为啥别人都说它比其他三个著名的消息队列更好用。今天就把积累出来的认知总结一下，便于今后自己学习和记忆，主要是个人的理解，详细的机制和原理，仍需要去查一些详细的技术文章，或者直接上手去操作Kafka。目录消息队列KafkaKafka更好用消息队列消息队列类似于快递柜的比喻，个人认为十分的形象，包括对于生产者（快递员）
现在网上流行一种将系统保留给QoS 20%带宽释放出来，达到网络提速的优化方法。具体操作办法如下： 在“运行”对话框中键入“gpedit.msc”命令来打开“组策略”窗口，再从“管理模板”下找到“网络”项目，这里有一个“QOS数据包调度”项， 展开后可以在窗口右侧
接下来我们来看下kafka的副本kafka的副本作用：就是提高数据的可靠性kafka的默认副本1个，生产环境一般配置为2个，太多的副本会增加磁盘存储空间，增加网络上数据传输，降低效率kafka的副本分为leader和follower,生产者只会把数据发送给leader,然后follower找leader同步数据kafka中所有的副本统称ARAR=ISR+OSRISR:表示和leader保持同步的f
转载
2024-04-30 06:49:54
367阅读
本系列主要讲解kafka基本设计和原理分析，分如下内容：基本概念消息模型kafka副本同步机制kafka文件存储机制kafka数据可靠性和一致性保证kafka leader选举kafka消息传递语义Kafka集群partitions/replicas默认分配解析Kafka集群partitions/replicas默认分配解析kafka在创建topic，需要指定分区数和副本的数量，本节探讨分区、副本
转载
2024-03-27 09:54:43
1075阅读
一、副本基本信息 (1）Kafka 副本作用：提高数据可靠性。 （2）Kafka 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性；太多副本会 增加磁盘存储空间，增加网络上数据传输，降低效率。 （3）Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader，
转载
2024-03-19 02:39:27
1351阅读
一.学习kafka的副本机制（replic）1.为什么我们需要副本机制我们知道kafka的每一个topic下面都可以多个partition，各个partition会均匀的分布在broker上面，但是我们每一个partition都只有一个，如果某一个broker挂掉了之后，那么这个broker上面的消息就没有办法被消费了，所以kafka为了提高partition的可靠性而提出了副本的概念，通过副本机
转载
2024-05-21 17:43:10
109阅读
目标：创建launch文件以运行复杂的 ROS 2 系统。教程级别：初学者时间： 10分钟 内容背景先决条件任务1 设置2 编写启动文件3 ros2发射4 使用 rqt_graph 反省系统概括下一步 背景在到目前为止的教程中，您一直在为您运行的每个新节点打开新终端。随着越来越多的节点同时运行，创建更复杂的系统，打开终端和重新输入配置细节变得乏味。launch文件允许您同时启动和配置多个包含 RO
本人英文水平非常有限，看不懂勿喷。1、入门1.1介绍 kafka是一个分布式流处理平台。 ....... kafka有四种api： 生产者API允许一个应用给kafka topics发布一些流记录。 消费者AP
QoS（Quality of Service，服务质量）指一个网络能够利用各种基础技术，为指定的网络通信提供更好的服务能力，是网络的一种安全机制， 是用来解决网络延迟和阻塞等问题的一种技术。QoS的保证对于容量有限的网络来说是十分重要的，特别是对于流多媒体应用，例如VoIP和IPTV等，因为这些应用常常需要固定的传输率，对延时也比较敏感。 &n
之前网上关于确定Kafka分区数的博客多多少少都源自于饶军大神的文章，如今他带来了这方面的第二篇文章，特此翻译一下，记录一下其中的要点。 Kafka中topic可以设置多个分区，而分区是最小的并行度单位。通常而言，分区数越多吞吐量也越高。但是依然有很多因素制约了一个Kafka集群所能支持的最大分区数。我现在高兴地宣布Kafka 1.1.0版本在这方面取得了重大的改进。目前生产环境
转载
2024-04-25 12:06:42
36阅读
一、消费者消费消息offset存储kafka的所有消息都是持久化存储在broker上的，消费者每次消费消息是如何知道获取哪一条呢？kafka提供一个专门的tipic存储每个consumer group的消费消息的offset，offset保证消息在分区内部有序，所以每次消费者都可以知道自己要从哪一条消息开始消费。__consumer_offsets_* 的一个topic ，把 offset 信 息
转载
2024-03-18 09:33:23
21阅读
broker.id 默认值：无每一个broker都有一个唯一的id，这是一个非负整数，这个id就是broker的"名字"，这样就允许broker迁移到别的机器而不会影响消费者。你可以选择任意一个数字，只要它是唯一的。 log.dirs 默认值：/tmp/kafka-logs一个用逗号分隔的目录列表，可以有多个，用来为Kafka存储数据。每当需要为一个新的partition分配
转载
2024-05-07 20:05:57
196阅读
