本节主要内容：1. 日志收集系统设计2. 日志客户端开发1. 项目背景 a. 每个系统都有日志，当系统出现问题时，需要通过日志解决问题 b. 当系统机器比较少时，登陆到服务器上查看即可满足 c. 当系统机器规模巨大，登陆到机器上查看几乎不现实2. 解决方案 a. 把机器上的日志实时收集，统一的存
转载
2024-10-14 17:54:02
76阅读
k
原创
2023-05-03 03:19:24
372阅读
一、背景 做项目有个需求：kafka使用SSL加密连接，限制客户端访问， 减轻服务端的压力,项目也具有安全性,这就需要给客户端发证书，只允许持有证书的客户端访问。 二、实现思路 1.在实现的时候参考了很多的帖子,java版的实现很多,go实现的目前只找到一篇,或许是其它的每能及时发现,在这个过程中我遇到很多的坑,说多了就是累,希望给有相同需求的人少走点弯路!! 根据其它的帖子实现的思路是这样的:
转载
2024-06-21 15:51:12
341阅读
（ 一 ）、Kafka 介绍
（ 一 ）、Kafka 介绍 官方中文文档： https://kafka.apachecn.org/intro.html3.0 文档: https://kafka.apache.org/documentation/下载：https://kafka.apachecn.org/downloads.html&n
转载
2024-03-06 15:08:01
80阅读
关于 go 的 kafka client 有很多开源项目，例如
sarama: 具有完整协议支持的纯 Go 实现。包括消费者和生产者实施，支持 GZIP 和 Snappy 压缩。
confluent-kafka-go: Confluent 的 Golang Kafka 客户端包装了 librdkafka C 库，提供完整的 Kafka 协议支持，具有出色的性能和可靠性。提供了高级生产者和消费者，支
转载
2024-04-22 18:10:27
73阅读
概要Reader是暴露给应用程序的接口，前一章提到的Consumer Group是集成在本类型中使用的。之前提到的Consumer Group主要处理消费topic的相关metadata信息，如relabance，commit offset，heartbeat等。而Reader类主要负责从kafka brokers中拉取数据。Reader有两种使用模式，一是单topic单partition的情形，
转载
2024-03-17 10:23:09
139阅读
Kafka 无消息丢失配置如何实现？1.如何保证kafka消息不丢失？1.1“已提交”的消息 是什么？1.2有限度的持久化保证 是什么？2.kafka“消息丢失”案例2.1 生产者程序丢失数据2.1.1 问题描述：“发射后不管”2.1.2 问题描述：“数据过大”2.2 解决方案 使用自定义kafka回调类Callback2.3 消费者程序丢失数据3.最后总结3.1 Producer生产者3.1.
转载
2024-04-12 09:19:10
41阅读
使用docker安装 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka ...
转载
2021-07-22 11:42:00
177阅读
2评论
go get github.com/Shopify/sarama #消息队列通讯模式 1.点对点 2.发布订阅 #Broker 部署了kafka实例的服务器节点。 每个服务器上有一个或多个kafka的实例，broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号 #Topi ...
转载
2021-09-10 22:04:00
67阅读
2评论
import "github.com/Shopify/sarama" saram 使用纯go语言编写。用于处理Apache Kafka（0.8及更高版本）的纯Go客户端库. 它包括一个易于生成和使用消息的高级API，以及一个在高级API不足时控制线路上字节的低级API. 内嵌提供了高级API的用法示
原创
2022-01-06 16:18:13
335阅读
需要借助的库 github.com/Shopify/sarama // kafka主要的库* github.com/bsm/sarama-cluster // kafka消费组 生产者 package producer import ( "fmt" "github.com/HappyTeemo756
原创
2023-04-18 18:35:59
225阅读
Go操作Kafka
原创
2023-05-05 17:26:36
234阅读
Part1前言本文主要介绍如何通过go语言连接kafka。这里采用的是sarama库。https://github.com/Shopify/saramaPart2库的安装goget-ugithub.com/Shopify/saramago get相关定义参数介绍：-d只下载不安装-f只有在你包含了-u参数的时候才有效，不让-u去验证import中的每一个都已经获取了，这对...
原创
2023-02-13 10:38:17
10000+阅读
前言在我们的日常开发中, 日志模块永远是最基础且最重要的一个模块, 它可以有效的帮我们发现问题, 定位问题, 最后去解决问题;zap包的集成简介zap是一个可以在go项目中进行快速, 结构化且分级的日志记录包, git star数高达16.3k, Git 项目地址, 在各大公司项目中被广泛使用;最基础的使用package main
import (
"go.uber.org/zap"
"ti
转载
2024-09-27 14:27:13
75阅读
Kafka原理详解 相关背景介绍P2P模式订阅模式Kafka结构Kafka特性基础架构及名词解释工作流程分析发送数据保存数据Partition 结构Message结构存储策略消费数据 相关背景介绍Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数
目录一、sarama1.1 下载及安装1.2 注意事项二、连接kafka发送消息三、连接kafka消费消息更新、更全的《Go从入门到放弃》的更新网站，更有python、go、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11517502.htmlKafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有高性
原创
2021-04-15 15:52:23
1611阅读
GORM 指南 | GORM - The fantastic ORM library for Golang, aims to be developer friendly.什么是ORMORM是Object Relational Mapping的缩写，译为“对象关系映射”，它解决了对象和关系型数据库之间的数据交互问题。Gorm 是 Go 语言中实现对象和数据库映射的框架，可以有效地提高开发数据库应用的
转载
2024-07-16 20:27:53
26阅读
李亚飞
其实文章名可以叫 记一次线上 Kafka 问题排查，但觉得稀松平常，弄些术词显得硬核点，hhh，言归正传，线上一个 Go 服务是一组 Kafka 的消费者，在运行了很多天之后，Kafka 数据突然积压了，查看 Kafka 服务正常，查看 Go 服务也运行正常，进到 Go 服务容器内部查看日志，发现消费者的 Go 服务频繁 rebalance 并且大概率返回失败。因为我们所使用的 Kaf
转载
2024-04-07 13:41:12
216阅读
使用burrow监控Kafka Consumer Lag，通过telegraf将数据写入influxdb，接入grafana实现数据可视化，最终能够实现数据堆积告警。
kafka监控工具比较多，有kafka monitor,kafka manager, kafka eagle,KafkaOffsetMonitor 等，但是监控consumer lag最好
转载
2024-07-18 11:27:20
0阅读
需要借助的库 github.com/Shopify/sarama // kafka主要的库* github.com/bsm/sarama-cluster // kafka消费组 生产者 package producer import ( "fmt" "github.com/HappyTeemo756
原创
2021-12-23 13:37:14
793阅读
