分布式消息队列 NSQ 和 Kafka 对比[https://www.liuin.cn/2018/07/11/%E5%88%86%E5%B8%83%E5%BC%8F%E6%B6%88%E6%81%AF%E9%98%9F%E5%88%97-NSQ-%E5%92%8C-Kafka-%E5%AF%B9%E6%AF%94/]消息队列的作用解耦，将一个流程加入一层数据接口拆分成两个部分，上游专注通知，下游专
转载
2024-03-14 07:03:17
41阅读
生产者压缩算法是什么？何时压缩？什么压缩性能好？何时压缩？在Broker和topic也可以配置Broker 端指定了和 Producer 端不同的压缩算法。Broker 端发生了消息格式转换。何时解压缩？什么压缩性能好？ 压缩（compression）是为了节省空间，并且减少I/O传输量。希望以较小的 CPU 开销带来更少的磁盘占用或更少的网络 I/O 传输。何时压缩？Kafka 中，压缩可能发
转载
2024-03-27 11:55:35
187阅读
gzip,zlib,以及图形格式png，使用的是同一个压缩算法deflate。我们通过对gzip源码的分析来对deflate压缩算法做一个详细的说明。我阅读的gzip版本为 gzip-1.2.4。我 们对算法做三种程度的说明。第一种程度，对gzip所使用压缩算法基本原理的说明。第二种程度，对gzip压缩算法实现方法的说明。第三种程度，对gzip实现源码级的说明。 如果你有时间的话，我建
转载
2024-06-26 07:24:15
36阅读
一、安全特性在0.9之前，Kafka安全方面的考虑几乎为0，在进行外网传输时，只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点，让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面，主要有以下方面设计：客户端连接borker使用SSL或SASL进行验证borker连接ZooKeeper进行权限管理数据传输进行加密（需要考虑性能方面的影响）客户端读、写操作可以进行授
转载
2024-04-14 22:14:23
13阅读
Kafka简介Kafka最初由Linkedin公司开发的分布式、分区的、多副本的、多订阅者的消息系统。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存是根据Topic进行归类，发送消息者称为Producer；消息接受者称为Consumer；此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。无论是kafka集
转载
2024-09-22 20:10:36
77阅读
file的这几个取得path的方法各有不同，下边说说详细的区别概念上的区别：（内容来自jdk，个人感觉这个描述信息，只能让明白的人明白，不明白的人看起来还是有点难度（特别试中文版，英文版稍好些)所以在概念之后我会举例说明。如果感觉看概念很累就跳过直接看例子吧。看完例子回来看概念会好些。getPath
public String getPath()将此抽象路径名转换为一个路径名字符串。所得到的字符串
转载
2024-10-16 10:45:34
24阅读
消息性能对比：Kafka和RocketMQ都是磁盘消息队列的模式，对于同一个消费组，一个分区只支持一个消费线程来消费消息。过少的分区，会导致消费速度大大落后于消息的生产速度。所以在实际生产环境中，一个Topic会设置成多分区的模式，来支持多个消费者Kafka的每个Topic、每个分区都会对应一个物理文件。当Topic数量增加时，消息分散的落盘策略会导致磁盘IO竞争激烈成为瓶颈。而RocketMQ所
转载
2024-03-26 13:08:22
56阅读
1.概述最近有些同学在学习Kafka时，问到Kafka的日志压缩（Log Compaction）问题，对于Kafka的日志压缩有些疑惑，今天笔者就为大家来剖析一下Kafka的日志压缩的相关内容。2.内容2.1 日志压缩是什么？Kafka是一个基于Log的流处理系统，一个Topic可以有若干个Partition，Partition是复制的基本单元，在一个Broker节点上，一个Partition的数
转载
2024-06-21 05:50:51
78阅读
1.概述Java应用启动的时候，除了配置Xms以及Xmx参数(Xmx:InitialHeapSize， Xms:MaxHeapSize)，还需要选择合适的垃圾收集器。截止Jdk1.8，共提供了7款垃圾收集器，每一款垃圾收集器都具有不同的特点。我们所需要做的就是，根据Java应用的特点已经部署环境，确定不同垃圾收集器的组合。这几款垃圾收集器之间联系如下图所示：由上图可知，Serial，ParNew，
转载
2023-08-20 23:12:27
53阅读
Kafka-之数据日志存储1 kafka的日志布局kafka的数据存储是基于文件系统的，kafka的数据以日志的形式存储在磁盘上，具体的日志布局可以看下图。很明显，kafka以topic来进行数据划分，我们可以通过在server.properties文件指定log.dirs来指定数据日志存储#指定日志存储路径
log.dirs=/tmp/kafka-logs1,tmp/kafka-logs2,..
转载
2024-07-18 11:35:33
25阅读
想了解SparkStreaming 和Kafka Stream的区别，首先我们需要先了解一下Spark Streaming和Kafka Stream.什么是Spark Streaming？Spark Streaming是核心Spark API的扩展，可让其用户执行实时数据流的流处理。它从Kafka，Flume，Kinesis或TCP套接字等来源获取数据。可以使用复杂的算法对这些数据进行进一步处理，
编者注：作者是Java开发工程师@青云。MQ初窥门径全称(message queue)消息队列,一个用于接收消息、存储消息并转发消息的中间件应用场景用于解决的场景，总之是能接收消息并转发消息用于异步处理，比如A服务做了什么事情，异步发送一个消息给其他B服务。用于削峰，有些服务(秒杀)，请求量很高，服务处理不过来，那么请求先放到消息队列里面，后面按照能力处理，相当于蓄水池。应用解耦、消息通讯等等总之
pulsar最初由Yahoo开发，并于2016年底开源，现在是Apache软件基金会的一个孵化器项目。Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Mail、Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。pulsar和kafka最显而易见的区别是，pulsar支持多租户，
作者 | 晓磊
编辑 | 张婵
消息队列是一种帮助开发人员解决系统间异步通信的中间件，常用于解决系统解耦和请求的削峰平谷的问题。本文从 Kafka 和 RocketMQ 的对比介绍了作者对消息队列的看法。
前言
消息队列是一种帮助开发人员解决系统间异步通信的中间件，常用于解决
转载
2024-09-23 17:30:40
63阅读
Pulsar与Kafka一样是分布式消息中间件Pulsar特性：1.线性扩展。能够丝滑的扩容到成百上千个节点(Kafka扩容需要占用很多系统资源在节点间拷贝数据，而Plusar完全不用)2.高吞吐。每秒数百万消息3.低延迟。在大规模的消息量下依然能够保持低延迟(< 5ms)4.持久化机制。Plusar的持久化机制构建在Apache BookKeeper之上，提供了写与读之前的IO隔离5.基于
转载
2024-03-15 09:47:16
58阅读
通过上一篇文章，我们已经大致了解怎么使用 Akka，期待细致用法。这篇文章将介绍如何用 Akka-testkit 对 Akka 程序进行测试。并行程序是最难调试的程序类型之一，因此做好测试是相当重要的事情。为了减轻 Akka 的程序的测试难度, Akka 官方专门开发了一个测试工具包 Akka-testkit。 1 Actor 的测试需求 &
1)TPS比较：Kafka最高，RabbitMq 次之， ActiveMq 最差。2)吞吐量对比：kafka具有高的吞吐量，内部采用消息的批量处理，zero-copy机制，数据的存储和获取是本地磁盘顺序批量操作，具有O(1)的复杂度，消息处理的效率很高。rabbitMQ在吞吐量方面稍逊于kafka，他们的出发点不一样，rabbitMQ支持对消息的可靠的传递，支持事务，不支持批量的操作；基于存储的可
转载
2024-03-27 10:38:47
53阅读
3.3 日志管理类的后台线程 分布式存储系统除了要保证客户端写请求流程的正确性，节点可能会非正常宕机或者需要重启，在启动的时候必须要能够正常地加载/恢复已有的数据，日志管理类在创建的时候要加载已有的所有日志文件，这和创建Log时要加载所有的Segment是类似的。LogManager的logDirs参数对应了log.dirs配置项，每个TopicPartition文件夹都对应一个Log实例，所
转载
2024-06-17 15:38:40
58阅读
kafka0.8.1一 问题10月22号应用系统忽然报错：[2014/12/22 11:52:32.738]java.net.SocketException: 打开的文件过多[2014/12/22 11:52:32.738] at java.net.Socket.createImpl(Socket.java:447)[2014
转载
2024-03-19 11:03:47
9阅读
今天为大家带来kafka中的消息压缩知识，内容比较简单，5分钟就能阅读完成。压缩就是用时间去换空间的经典 trade-off 思想，具体来说就是用 CPU 时间去换磁盘空间或网络 I/O 传输量，希望以较小的 CPU 开销带来更少的磁盘占用或更少的网络 I/O 传输。在 Kafka 中，压缩也是用来做这件事的。1 何时压缩在 Kafka 中，压缩可能发生在两个地方：生产者端和 Broker 端。生
转载
2024-02-14 23:04:30
128阅读
