一、背景 做项目有个需求：kafka使用SSL加密连接，限制客户端访问， 减轻服务端的压力,项目也具有安全性,这就需要给客户端发证书，只允许持有证书的客户端访问。 二、实现思路 1.在实现的时候参考了很多的帖子,java版的实现很多,go实现的目前只找到一篇,或许是其它的每能及时发现,在这个过程中我遇到很多的坑,说多了就是累,希望给有相同需求的人少走点弯路!! 根据其它的帖子实现的思路是这样的:
转载
2024-06-21 15:51:12
341阅读
Go的数组运用。数组是值类型，数组长度是类型的一部分，不支持扩容。
原创
2022-07-11 11:17:56
81阅读
一.kafka简介1.介绍 kafka是一个分步数据流平台，可以分布在单个服务器上，也可以分布在多个服务器上部署形成集群，提供了发布和订阅功能，使用者可以发送数据到kafka中，也可以从kafka中读出数据，kafka具有高吞吐，低延迟，高容错等特点。2.kafka集群的架构3.生产者往kafka发送数据的流程4.kafka选择分区的模式 1.指定分区 2.指定key，kafka根据key做has
转载
2024-02-22 08:12:00
0阅读
Kafka Consumer API是客户端的接口，封装了消息的接收，心跳的检测，consumer的rebalance等，此分析的代码基于kafka-clients-0.10.0.1 java版本KafkaConsumer.pollOnce 是轮询的入口，完成一次轮询动作，包括consumer相关的所有逻辑，其逻辑过程如下： 进一步，将相关的过程展开，如下图所示：
Kafka由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。但当前关于Kafka原理及应用的相关资料较少，在我打算编写本书时，还没有见到中文版本的Kafka相关书籍，对于初学者甚至是一些中高级应用者来说学习成本还是比较高的，因此我打算在对Kafka进行深入而系统的研究基础上，结合自己在工作中的实践经验，编写一本介绍Kafka原理及其基本应用的书籍，以帮助Kafka初、中、高级应用者
转载
2024-06-06 11:51:48
12阅读
CopyOnWrite 思想在 Kafka 源码中的运用 在 Kafka 的内核源码中，有这么一个场景，客户端在向 Kafka 写数据的时候，会把消息先写入客户端本地的内存缓冲，然后在内存缓冲里形成一个 Batch 之后再一次性发送到 Kafka 服务器上去，这样有助于提升吞吐量。 请看下图： 这个
转载
2019-06-01 23:05:00
90阅读
2评论
k
原创
2023-05-03 03:19:24
372阅读
（ 一 ）、Kafka 介绍
（ 一 ）、Kafka 介绍 官方中文文档： https://kafka.apachecn.org/intro.html3.0 文档: https://kafka.apache.org/documentation/下载：https://kafka.apachecn.org/downloads.html&n
转载
2024-03-06 15:08:01
80阅读
Kafka 无消息丢失配置如何实现？1.如何保证kafka消息不丢失？1.1“已提交”的消息 是什么？1.2有限度的持久化保证 是什么？2.kafka“消息丢失”案例2.1 生产者程序丢失数据2.1.1 问题描述：“发射后不管”2.1.2 问题描述：“数据过大”2.2 解决方案 使用自定义kafka回调类Callback2.3 消费者程序丢失数据3.最后总结3.1 Producer生产者3.1.
转载
2024-04-12 09:19:10
41阅读
概要Reader是暴露给应用程序的接口，前一章提到的Consumer Group是集成在本类型中使用的。之前提到的Consumer Group主要处理消费topic的相关metadata信息，如relabance，commit offset，heartbeat等。而Reader类主要负责从kafka brokers中拉取数据。Reader有两种使用模式，一是单topic单partition的情形，
转载
2024-03-17 10:23:09
139阅读
关于 go 的 kafka client 有很多开源项目，例如
sarama: 具有完整协议支持的纯 Go 实现。包括消费者和生产者实施，支持 GZIP 和 Snappy 压缩。
confluent-kafka-go: Confluent 的 Golang Kafka 客户端包装了 librdkafka C 库，提供完整的 Kafka 协议支持，具有出色的性能和可靠性。提供了高级生产者和消费者，支
转载
2024-04-22 18:10:27
73阅读
消息队列 Kafka很好地代替了一个更传统的消息队列。消息队列用于各种原因（用于将处理与数据生成器分离，缓冲未处理的消息等）。与大多数消息传递系统相比，Kafka具有更好的吞吐量，内置分区，复制和容错功能，这使其成为大规模消息处理应用程序的良好解决方案。 在我们的经验中，消息传递使用通常比较低的吞吐量，但可能需要低端到端延迟，并且通常取决于Kafka提供的强大的持久性保证。在此域中，Kafka与
转载
2024-05-20 20:48:33
29阅读
目录一、sarama1.1 下载及安装1.2 注意事项二、连接kafka发送消息三、连接kafka消费消息更新、更全的《Go从入门到放弃》的更新网站，更有python、go、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11517502.htmlKafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有高性
原创
2021-04-15 15:52:23
1611阅读
GORM 指南 | GORM - The fantastic ORM library for Golang, aims to be developer friendly.什么是ORMORM是Object Relational Mapping的缩写，译为“对象关系映射”，它解决了对象和关系型数据库之间的数据交互问题。Gorm 是 Go 语言中实现对象和数据库映射的框架，可以有效地提高开发数据库应用的
转载
2024-07-16 20:27:53
26阅读
使用burrow监控Kafka Consumer Lag，通过telegraf将数据写入influxdb，接入grafana实现数据可视化，最终能够实现数据堆积告警。
kafka监控工具比较多，有kafka monitor,kafka manager, kafka eagle,KafkaOffsetMonitor 等，但是监控consumer lag最好
转载
2024-07-18 11:27:20
0阅读
使用docker安装 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka ...
转载
2021-07-22 11:42:00
177阅读
2评论
go get github.com/Shopify/sarama #消息队列通讯模式 1.点对点 2.发布订阅 #Broker 部署了kafka实例的服务器节点。 每个服务器上有一个或多个kafka的实例，broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号 #Topi ...
转载
2021-09-10 22:04:00
67阅读
2评论
import "github.com/Shopify/sarama" saram 使用纯go语言编写。用于处理Apache Kafka（0.8及更高版本）的纯Go客户端库. 它包括一个易于生成和使用消息的高级API，以及一个在高级API不足时控制线路上字节的低级API. 内嵌提供了高级API的用法示
原创
2022-01-06 16:18:13
335阅读
需要借助的库 github.com/Shopify/sarama // kafka主要的库* github.com/bsm/sarama-cluster // kafka消费组 生产者 package producer import ( "fmt" "github.com/HappyTeemo756
原创
2023-04-18 18:35:59
225阅读
Go操作Kafka
原创
2023-05-05 17:26:36
234阅读
