0.MQ(message queue) 消息中间件生活中的问题 :快递员 给 你 送东西, 你必须 在家等着, (效率低)可以 把东西 放 指定 的 地方(菜鸟驿站) , 你自己去取 ,指定 的地点(菜鸟驿站) 就是 MQ 消息队列中间件0.1.开发中的问题0.1.1.异步问题0.1.2.业务解耦0.1.3.流量削峰在某时会产生大量的请求, 形成请求高峰, 将请求存储到消息队列里, 再由系统根据性
转载
2024-07-03 16:45:35
150阅读
大数据消息中间件之Kafka此篇文章讲述大数据消息中间件Kafka入门及使用 文章目录大数据消息中间件之Kafka前言一、Kafka是什么？二、消息队列2.1消息队列的应用场景2.2那么我们为什么使用消息队列呢?三、Kafka3.1Kafka的两种模式3.2 Kafka架构实现名词解释3.3 Kafka工作流程3.4 Kafka 文件存储机制总结 前言市面上的消息中间件有很多,人尽皆知的有Rabb
转载
2024-06-28 04:08:04
24阅读
前段时间接到用户要求，调整某个主题在 Kafka 集群消息大小为 4M。根据 Kafka 消息大小规则设定，生产端自行将 max.request.size 调整为 4M 大小，Kafka 集群为该主题设置主题级别参数 max.message.bytes 的大小为 4M。以上是针对 Kafka 2.2.x 版本的设置，需要注意的是，在某些旧版本当中，还需要调整相关关联参数，比如 replica.fe
转载
2024-07-03 18:47:08
266阅读
Kafka需要在吞吐量和延迟之间取得平衡,可通过下面两个参数控制。batch.size当多个消息发送到相同分区时,生产者会将消息打包到一起,以减少请求交互. 而不是一条条发送批次大小可通过batch.size参数设置。默认：16KB
较小的批次大小有可能降低吞吐量。（设置为0则完全禁用批处理）非常大的批次大小可能会浪费内存。因为我们会预先分配这个资源。例子 比如说发送消息的频率是每秒300条，那么
转载
2024-03-22 21:01:21
62阅读
https://mp.weixin.qq.com/s/_YuLzBpgSvHi9nH2wTEjvQ1、性能对比Kafka单机写入TPS约在百万条/秒，消息大小10个字节RocketMQ单机写入TPS单实例约7万条/秒，单机部署3个Broker，可以跑到最高12万条/秒，消息大小10个字节总结：Kafka的TPS跑到单机百万，主要是由于Producer端将多个小消息合并，批量发向Broker。有效减
转载
2024-04-29 09:11:59
222阅读
前段时间接到用户要求，调整某个主题在 Kafka 集群消息大小为 4M。根据 Kafka 消息大小规则设定，生产端自行将 max.request.size 调整为 4M 大小，Kafka 集群为该主题设置主题级别参数 max.message.bytes 的大小为 4M。以上是针对 Kafka 2.2.x 版本的设置，需要注意的是，在某些旧版本当中，还需要调整相关关联参数，比如 replica.fe
转载
2024-06-08 13:17:34
120阅读
一、简介1、简介简 介• Kafka是Linkedin于2010年12月份开源的消息系统• 一种分布式的、基于发布/订阅的消息系统2、特点– 消息持久化：通过O(1)的磁盘数据结构提供数据的持久化– 高吞吐量：每秒百万级的消息读写– 分布式：扩展能力强– 多客户端支持：java、php、python、c++ ……– 实时性：生产者生产的message立即被消费者可见3、基本组件• Broker：每
转载
2024-03-25 15:26:39
31阅读
准备环境准备3台虚拟机机器，一样系统(cent os7),安装同样的jdk, Zookeeeper;关闭防火前；SSH无密登录配置好。 kafka集群部署名称角色地址编号(myid)hadoop130节点192.168.64.1301hadoop131节点192.168.64.1312hadoop132节点192.168.64.1323
优化flume： 用flume接受tomcat的日志文件catalina.out，将接受的日志文件发送到kafka主题。问题是flume经常挂，临时解决方法是写脚本自动拉起。 flume主进程不容易挂，容易挂的是子进程，也就是读取tomcat文件的命令所再进程容易挂。flume配置文件和拉起脚本如下： flume配置文件：# Name the components on this agent
转载
2024-08-24 06:52:04
122阅读
目录1.Kafka的安装2.Kafka的基本概念3.创建topic4.发送消息5.消费消息6.关于消息的细节7.单播消息8.多播消息9.查看消费组及信息 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行
转载
2024-03-12 22:15:14
280阅读
业务场景来疯直播互动平台，每天有数百万人上下线，有数十万人同时参与互动直播聊天。用户的登陆、退出及用户间的各种交互行为如聊天、送礼、关注、投票、抢沙发等等事件都会产生大量的消息。这些消息具有瞬间爆发性，比如热门直播间刚开播，直播表演的高潮等等。而用户的礼物、星星、喇叭、沙发等这类消息是不允许丢失，必须100%送达。这就需要有一个高性能，高可靠，稳定可拓展的消息服务平台的支撑。它要求在网络压力大及服
转载
2024-05-22 08:44:37
78阅读
# 使用Docker实现Kafka消息大小配置的完整指南
Kafka 是一种分布式流处理平台，广泛用于构建实时数据管道和流处理应用。而在生产环境中，消息的大小配置对于系统的性能和稳定性至关重要。本教程将引导你如何在 Docker 中设置 Kafka 的消息大小限制配置。我们将按步骤进行讲解，确保你能够顺利地实现这一目标。
## 流程概述
以下表格总结了我们将要执行的步骤：
| 步骤
Kafka一kafka是什么Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离
10、kafka的配置文件说明Server.properties配置文件说明 #broker的全局唯一编号，不能重复
broker.id=0
#用来监听链接的端口，producer或consumer将在此端口建立连接
port=9092
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接
server.properties配置：server.properties中所有配置参数说明(解释)如下列表：参数说明(解释)broker.id =0每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况log.dirs=/data/kafka-logskafka数据的存放地址，多个地址的话用逗号分
转载
2024-07-22 16:00:11
175阅读
前言我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现线上问题时能够及时处理。我当时在后厨显示系统团队，该系统属于订单的下游业务。用户点完菜下单后，订单系统会通过发kafka消息给我们系统，系统读取消息后，做业务逻辑处理，持久化订单和菜品数据，然后展示到划菜客户端。这样厨师就知道哪个订单要做哪些菜，有些菜做好了
消息发送端发送消息到broker上以后，消息是如何持久化的呢？那么这篇我们就来看看kafka是如何存储消息的。首先需要了解的是，kafka是使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个offset值来表示它在分区中的偏移量。Kafka中存储的一般都是海量的消息数据，为了避免日志文件过大，Log并不是直接对应在一个磁盘上的日志文件，而是对应磁盘上的一个目录，这个目录的命名规则是<
转载
2023-10-24 06:12:07
237阅读
阅读数：258Kafka的设计初衷是希望作为一个统一的信息收集平台，能够实时的收集反馈信息，并需要能够支撑较大的数据量，且具备良好的容错性。主要设计目标如下：以时间复杂度O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能。高吞吐率，即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。支持Kafka Server间的消息分区，及分布式消费消息，同时
转载
2024-06-11 10:52:16
161阅读
kafka数据处理框架kafka框架：kafka高吞吐量分布式的消息发布和订阅系统，提供一个分布式的，可划分的，冗余备份的持久性的日志服务。主要用于处理活跃的流式数据。在大数据系统中，经常碰到一个问题，整个大数据是由各个子系统组成，且数据需要在各个子系统中高性能，低延时的不停流转。这时候kafka相当于起到了整个大数据系统的数据总线的作用，它提供了固定的接口，有效降低系统组网的复杂度，避免各个子系
转载
2024-03-19 21:41:58
184阅读
Kafka进阶知识消息概念消息指的是通信的基本单位。由消息生产者（producer）发布关于某个话题（topic）的消息。简单来说：消息以一种物理方式被发送给了作为代理（broker）的服务器（可能是另外一台机器）。若干的消息使用者（consumer）订阅（subscribe）某个话题，然后生产者所发布的每条消息都会被发送给所有的使用者。Kafka的生产者、使用者和代理都可以运行在作为一个逻辑单位
