最近维护的一个系统并发有点高，所以想引入一个消息队列来进行削峰。考察了一些产品，最终决定使用kafka来当做消息队列。以下是关于kafka的一些知识的整理笔记。 kafka kafka 是分布式流式平台。它由linkedin开发，后贡献给了Apache开源组织并成为顶级开源项目。它可以应用在高并发场
原创
2022-01-10 10:06:42
443阅读
Kafka开始被设计时，带有一个Scala的Producer和Consumer。而这些API有很多的缺陷，例如，支持Consumer Group且容错的“high-level” Consumer API，不能支持太多更复杂的情况。另一种“simple” Consumer Client提供了所有的操作，但是它要求用户自己管理故障和错误。所以，重新设计了可以应对大量旧Clients很难甚至不可能处理的
转载
2024-08-07 07:31:38
49阅读
安装 CentOS 安装 kafka Kafka : http://kafka.apache.org/downloads ZooLeeper : https://zookeeper.apache.org/releases.html 下载并解压 # 下载，并解压 $ wget https://arch ...
转载
2021-05-05 22:33:34
284阅读
2评论
Kafka 是一个开源的，分布式的，可扩展的，高性能的发布订阅模式的消息中间件，如果你要构建一个处理海量数据的系统，那么 Kafka 将会是一个非常好的选择，这篇文章我们将会讨论如何基于 Kakfa 构建一个发布订阅模式的程序。Kafka 架构这一节中，先来看看 Kafka 的基础架构以及相关术语，大体来说 Kafka 由下面几个组件组成。Kafka Cluster 一个或者多个服务器组成的集群
原创
2021-04-24 11:49:17
651阅读
Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性： 通过O的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万 [2] 的消息。 支持通过Kafka服务器和消费机集群来分区消息。 支持 ...
转载
2020-04-21 11:32:00
313阅读
2评论
新建一个cmd窗口，zkServer命令启动zookeeper 打开另一个cmd窗口,输入: cd D:\Worksoftware\Apachekafka2.11\bin\windows kafka-server-start D:\Worksoftware\Apachekafka2.11\confi
原创
2021-07-15 15:36:18
215阅读
这个世界既不是有钱人的世界，也不是有权人的世界，它是有心人的世界。 一些有用的命令 实体类: KafkaProducerMessage.cs代码: KafkaConsumerMessage.cs代码: KafkaProducerMessageArchive.cs代码: vwMaxOffsetByPa
原创
2021-07-15 15:36:19
51阅读
最近研究分布式消息队列，分享下！ 首先zookeeper 和 kafka 压缩包 解压 并配置好！ 我本机zookeeper环境配置如下: D:\Worksoftware\ApacheZookeeper3\conf\zoo.cfg 以下是kafka的配置 D:\Worksoftware\Apache
原创
2021-07-15 15:36:20
109阅读
1.首先创建一个Topic，命令如下: kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MyTopic 2.创建两个控制台程序: 3.KafkaProduce
原创
2021-07-15 15:36:21
66阅读
# 使用VB.NET和VS2017连接Kafka
## 介绍
Kafka是一个分布式流处理平台，它允许您以高效、可靠的方式处理和传输大量的实时数据流。它被广泛应用于日志收集、事件流处理、指标收集等场景。在本文中，我们将使用VB.NET和VS2017来连接Kafka，并发送和接收消息。
## 准备工作
首先，我们需要安装以下几个工具和库：
- [VS2017](
- [Confluent.
原创
2023-09-09 14:49:09
321阅读
## 使用 Spring Kafka 发送消息到 Kafka 的流程
首先，让我们来了解一下使用 Spring Kafka 发送消息到 Kafka 的整个流程。下面是一个简单的流程图：
```mermaid
flowchart TD
subgraph 创建 KafkaTemplate
A[创建 KafkaTemplate]
end
subgraph 发送消息
原创
2023-09-05 08:22:37
124阅读
1 层次结构负责进行网络IO请求的是NetworkClient，主要层次结构如下ClusterConnectionStates报存了每个节点的状态，以node为key，以node的状态为value；inFlightRequets中保存了每个节点已经发送的请求，但是还没有返回的请求，以node为key，以List<ClientRequest>为value。inFlightRequets从
转载
2024-02-27 11:07:50
66阅读
完整解决方案请参考： Setting Up and Running Apache Kafka on Windows OS 在环境搭建过程中遇到两个问题，在这里先列出来，以方便查询： 1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this tim
原创
2021-07-15 15:36:23
221阅读
.net windows Kafka 安装与使用入门,.net kafka sdk 选择与使用demo
原创
2022-12-09 09:54:10
173阅读
环境: linux centos 7.7 本机ip地址: 192.168.37.128首先查看jdk版本我这个默认版本是 1.8的 已经有了，所以，就不用安装了。安装完jdk，接下来先安装zookeeper，它主要是来实现kafka集群的，所以必须得安装。把kafka和zookeeper 解压到 /etc/opt/目录下。然后新建一些日志文件在 Zookeeper 目录下mkdir z
原创
2023-02-23 09:09:58
299阅读
nuget 安ummary> /// 消费者 /// </summary...
原创
2023-02-23 06:55:09
223阅读
1、NuGet添加2个包：Microsoft.Extensions.Logging.Log4Net.AspNetCorelog4net.Kafka.Core2、Program里修改CreateWebHostBuilder：public class Program { public static void Main(string[] args) {
原创
2022-08-22 11:31:10
142阅读
1. 介绍:Netperf是由惠普公司开发的，测试网络栈。即测试不同类型的网络性能的benchmark工具，大多数网络类型TCP/UPD端对端的性能，得到网络上不同类型流量的性能参数。Netperf根据应用的不同可以进行不同模式的网络性能测试，即:批量数据传输模式和请求/应答模式。Netperf测试结果所反映的是一个系统能够以多快的速度向另外一个系统发送数据，以及另外一个系统能够以多快的速度接收数
转载
2024-04-30 20:57:42
0阅读
Dictionary<string, Book> bic = new Dictionary<string, Book>();
Book b1 = new Book();
b1.Name = "小明";
b1.Score = 10;
Book b2 = new Book();
转载
2024-06-07 21:53:45
419阅读
kafka学习之监控与对接flumekafka和flume的对接kafkaSource,kafkaSink,kafkaChannel组件描述1) KafkaSource
用于从kafka中读取数据.
KafkaSource对于flume来讲是一个source的角色. 对于Kafka来讲，是一个消费者的角色.
2) KafkaSink
用于往Kafka中写数据
Kafk
转载
2024-03-27 16:39:10
142阅读
