前言在我们的日常开发中, 日志模块永远是最基础且最重要的一个模块, 它可以有效的帮我们发现问题, 定位问题, 最后去解决问题;zap包的集成简介zap是一个可以在go项目中进行快速, 结构化且分级的日志记录包, git star数高达16.3k, Git 项目地址, 在各大公司项目中被广泛使用;最基础的使用package main
import (
"go.uber.org/zap"
"ti
转载
2024-09-27 14:27:13
75阅读
一、背景 做项目有个需求：kafka使用SSL加密连接，限制客户端访问， 减轻服务端的压力,项目也具有安全性,这就需要给客户端发证书，只允许持有证书的客户端访问。 二、实现思路 1.在实现的时候参考了很多的帖子,java版的实现很多,go实现的目前只找到一篇,或许是其它的每能及时发现,在这个过程中我遇到很多的坑,说多了就是累,希望给有相同需求的人少走点弯路!! 根据其它的帖子实现的思路是这样的:
转载
2024-06-21 15:51:12
341阅读
k
原创
2023-05-03 03:19:24
372阅读
（ 一 ）、Kafka 介绍
（ 一 ）、Kafka 介绍 官方中文文档： https://kafka.apachecn.org/intro.html3.0 文档: https://kafka.apache.org/documentation/下载：https://kafka.apachecn.org/downloads.html&n
转载
2024-03-06 15:08:01
80阅读
概要Reader是暴露给应用程序的接口，前一章提到的Consumer Group是集成在本类型中使用的。之前提到的Consumer Group主要处理消费topic的相关metadata信息，如relabance，commit offset，heartbeat等。而Reader类主要负责从kafka brokers中拉取数据。Reader有两种使用模式，一是单topic单partition的情形，
转载
2024-03-17 10:23:09
139阅读
关于 go 的 kafka client 有很多开源项目，例如
sarama: 具有完整协议支持的纯 Go 实现。包括消费者和生产者实施，支持 GZIP 和 Snappy 压缩。
confluent-kafka-go: Confluent 的 Golang Kafka 客户端包装了 librdkafka C 库，提供完整的 Kafka 协议支持，具有出色的性能和可靠性。提供了高级生产者和消费者，支
转载
2024-04-22 18:10:27
73阅读
Kafka 无消息丢失配置如何实现？1.如何保证kafka消息不丢失？1.1“已提交”的消息 是什么？1.2有限度的持久化保证 是什么？2.kafka“消息丢失”案例2.1 生产者程序丢失数据2.1.1 问题描述：“发射后不管”2.1.2 问题描述：“数据过大”2.2 解决方案 使用自定义kafka回调类Callback2.3 消费者程序丢失数据3.最后总结3.1 Producer生产者3.1.
转载
2024-04-12 09:19:10
41阅读
一、参考资料springboot 之集成kafka - 简书SpringBoot整合kafka(实现producer和consumer) - 简书
原创
2022-07-28 14:28:01
333阅读
目录一、sarama1.1 下载及安装1.2 注意事项二、连接kafka发送消息三、连接kafka消费消息更新、更全的《Go从入门到放弃》的更新网站，更有python、go、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11517502.htmlKafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有高性
原创
2021-04-15 15:52:23
1611阅读
GORM 指南 | GORM - The fantastic ORM library for Golang, aims to be developer friendly.什么是ORMORM是Object Relational Mapping的缩写，译为“对象关系映射”，它解决了对象和关系型数据库之间的数据交互问题。Gorm 是 Go 语言中实现对象和数据库映射的框架，可以有效地提高开发数据库应用的
转载
2024-07-16 20:27:53
26阅读
Kafka 入门和 Spring Boot 集成标签：博客目录Kafka 入门和 Spring Boot 集成标签：博客概述应用场景基本概念基本结构和Spring Boot 集成集成概述集成环境kafka 环境搭建Spring Boot 和 Spring for Apache Kafka 集成步骤最后概述kafka 是一个高性能的消息队列，也是一个分布式流处理平台（这里的流指的是数据流）。由jav
使用burrow监控Kafka Consumer Lag，通过telegraf将数据写入influxdb，接入grafana实现数据可视化，最终能够实现数据堆积告警。
kafka监控工具比较多，有kafka monitor,kafka manager, kafka eagle,KafkaOffsetMonitor 等，但是监控consumer lag最好
转载
2024-07-18 11:27:20
0阅读
使用docker安装 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka ...
转载
2021-07-22 11:42:00
177阅读
2评论
go get github.com/Shopify/sarama #消息队列通讯模式 1.点对点 2.发布订阅 #Broker 部署了kafka实例的服务器节点。 每个服务器上有一个或多个kafka的实例，broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号 #Topi ...
转载
2021-09-10 22:04:00
67阅读
2评论
import "github.com/Shopify/sarama" saram 使用纯go语言编写。用于处理Apache Kafka（0.8及更高版本）的纯Go客户端库. 它包括一个易于生成和使用消息的高级API，以及一个在高级API不足时控制线路上字节的低级API. 内嵌提供了高级API的用法示
原创
2022-01-06 16:18:13
335阅读
需要借助的库 github.com/Shopify/sarama // kafka主要的库* github.com/bsm/sarama-cluster // kafka消费组 生产者 package producer import ( "fmt" "github.com/HappyTeemo756
原创
2023-04-18 18:35:59
225阅读
Go操作Kafka
原创
2023-05-05 17:26:36
234阅读
本节主要内容：1. 日志收集系统设计2. 日志客户端开发1. 项目背景 a. 每个系统都有日志，当系统出现问题时，需要通过日志解决问题 b. 当系统机器比较少时，登陆到服务器上查看即可满足 c. 当系统机器规模巨大，登陆到机器上查看几乎不现实2. 解决方案 a. 把机器上的日志实时收集，统一的存
转载
2024-10-14 17:54:02
76阅读
1. Kafka集成介绍Kafka 是一种分布式的，高吞吐率， 基于发布 / 订阅的消息系统。Kafka主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，如果有大量的消息处理（10W+)，对一致性要求不高， 那么可以采用KAFKA， 比如日志采集、 数据同步与归档、实时流数据处理等场景。Spring 官方为我们提供了Spring-kafka组件， 这里讲解如何与Spring Boot集成使
转载
2024-03-01 14:30:07
131阅读
Part1前言本文主要介绍如何通过go语言连接kafka。这里采用的是sarama库。https://github.com/Shopify/saramaPart2库的安装goget-ugithub.com/Shopify/saramago get相关定义参数介绍：-d只下载不安装-f只有在你包含了-u参数的时候才有效，不让-u去验证import中的每一个都已经获取了，这对...
原创
2023-02-13 10:38:17
10000+阅读
