我们介绍了伴鱼在调用链追踪领域的调研工作，本篇继续介绍伴鱼的调用链追踪实践。在正式介绍前，简单交代一下背景：2015 年，在伴鱼服务端起步之时，技术团队就做出统一使用 Go 语言的决定。这个决定的影响主要体现在：内部基础设施无需做跨语言支持技术选型会有轻微的语言倾向1. 早期实践1.1 对接 Jaeger2019 年，公司内部的微服务数量逐步增加，调用关系日趋复杂，工程师做性能分析、问题排查的难度
一、简介Apache Kafka是一个分布式的消息系统，作为一个分布式的日志提交服务.Kafka 是一个分布式的、可分区的、可复制的日志提交服务. 它提供了功能性的消息系统，有它自己独特的设计.这一切是什么意思呢？ 首先我们来回顾一些Kafka基本的消息术语：每条发布到Kafka集群的消息都有一个类别，这个类别被称为 Topic.负责向Kafka Topic发布消息的程序成为
转载
2024-10-08 18:43:34
100阅读
文章目录一、Kafka Offset自动控制二、Acks & Retries三、幂等性四、数据同步机制1、高水位HW2、数据同步机制-Leader EposchHigh Watermark Truncation followed by Immediate Leader Election(数据丢失)数据一致性五、kafkaEagle六、Kafka Flume集成 一、Kafka Offse
转载
2024-03-06 12:22:57
818阅读
First: Kafka 是什么？Kafka 是一个发布订阅系统 最初是是LinkedIn 开发 最后交给Apache 开源组织 github地址：https://github.com/apache/kafka 是用java 和Scala 去开发的~Kafka 现在主要用于 消息队列使用Kafka 是一个快速 可扩展 内在就是分布式的系统 分布式: K
目录1 Kafka高级API特性1.1 Offset的自动控制1.1.1 消费者offset初始策略1.1.2 消费者offset自动提交策略1.2 Acks & Retries(应答和重试)1.3 Kafka幂等写机制1.3.1 Kafka幂等概念1.3.2 Kafka幂等实现策略1.4 Kafka的事务控制1.4.1 生产者事务only使用场景1.4.1 生产者消费者事务1 Kafka
转载
2023-11-24 21:00:42
59阅读
kafka之consumer参数auto.offset.reset 0.10+ kafka-0.10.1.X版本之前: auto.offset.reset 的值为smallest,和,largest.(offest保存在zk中)kafka-0.10.1.X版本之后: auto.offset.reset 的值更改为:earliest,latest,和none (offest保存在kafka
转载
2024-05-07 17:47:57
836阅读
工作中经常会使用kafka，但是没有系统性的了解，看个尚硅谷的课程记录下知识点。第三章：kafka架构深入3.1 kafka工作流程及文件存储机制1、kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。2、往kafka中发消息时，如果topic不存在，会默认创建，默认1个leader，1个follower3、kafka的副本数包含leader这1个；le
转载
2024-09-05 21:04:31
349阅读
一、消息传输保障概念消息中间件的消息传输保障有以下三个层级 (
1
)
at
most
once
：至多
一次。消息可能会丢失，但绝对不会重复传输。 (
2)
at least
once
最少一次。消息绝不会丢失，但可能会重复传输。 (3)
exactly
once
：恰好
一次。每条消息肯定会被传输一次且仅
转载
2024-07-10 15:06:58
1070阅读
Flink+Kafka如何实现端到端的exactly-once语义我们知道，端到端的状态一致性的实现，需要每一个组件都实现，对于Flink + Kafka的数据管道系统（Kafka进、Kafka出）而言，各组件怎样保证exactly-once语义呢？内部 —— 利用checkpoint机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性source —— kafka cons
文章目录1. librdkafka中producer的poll是干什么用的？2. 不调用poll会有什么后果？3. linger.ms 、batch.num.messages干什么用？4. 打印librdkafka的默认配置参数5.一次librakafak写kafka效率问题排查历程 1. librdkafka中producer的poll是干什么用的？由于producer是异步调用，消息是否发送
转载
2024-04-07 15:13:50
105阅读
上次课程内容回顾：
1、kafka的基本介绍：kafka是一个消息队列
2、消息队列的作用：解耦
3、kafka与传统消息队列的对比：
传统消息队列：支持事务
kafka的特点：比较快，比较快的两个原因：顺序读写磁盘，pageCache页缓存机制
4、kafka的架构模型：
producer：消息的生产者，主要就是用于生产数据
topic：消息的主题，可以理解为一类消息的高度抽象的集合
4. Kafka Broker4.1 kafka Broker工作流程4.1.1 Zoopkeeper存储的Kafka信息启动Zookeeper客户端通过ls命令查看kafka相关信息 在Zookeeper的服务端存储的Kafka相关信息/kafka/brokers/ids [0,1,2] 记录那些服务器/kafka/brokers/topics/first/partitions/0/state
转载
2024-08-07 16:59:03
1218阅读
1. kafka介绍(1).工作原理首先Producer产生Record发送给指定的Kafka Topic（Topic实质是有多个分区构成，每一个分区都会相应的复制分区），在真正存放到Kafka集群时会进行计算key.hashCode%topicPartitionNums等于要存放的分区序号。
Leader分区中的数据会自动同步到Follower分区中,ZooKeeper会实时监控服务健康信息，一
转载
2024-05-09 17:54:59
453阅读
一，latest和earliest区别1，earliest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费2，latest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据提交过offset，latest和earliest没有区别，但是在没有提交offset情况下，用lat
转载
2020-05-04 16:41:00
1640阅读
2评论
一、earliest创建一个topic名称为 test1 ,设定这个topic初始有三个分区生成一个消费者组 g001 ,订阅 test1 ,参数使用 earliest如果 g001 消费者组 在 test1的其中一个分区下没有提交 偏移量offset 时,在消费该分区数据的时候会 从头 全部读取如果 g001&nbs
转载
2024-03-19 01:49:52
319阅读
目录一、Redis的淘汰策略Redis6.2.5有8种淘汰策略设置Redis淘汰策略二、Redis的过期策略定时过期惰性过期定期过期三、过期回调（监听键值失效）一、Redis的淘汰策略由于Redis的数据存放在内存中，假如Redis一直往内存（内存又称主。它是CPU能直接寻址的存存储空间，由半导体器件制成。特点是存取速率快）中存值，总有一天，你的内存会被占满，这将是一个悲剧，所以Redis设置了淘
转载
2023-09-19 05:06:31
46阅读
jQuery是一个快速、简洁的JavaScript框架，是继Prototype之后又一个优秀的JavaScript代码库（或JavaScript框架）。jQuery设计的宗旨是“write Less，Do More”，即倡导写更少的代码，做更多的事情。它封装JavaScript常用的功能代码，提供一种简便的JavaScript设计模式，优化HTML文档操作、事件处理、动画设计和Ajax交互。jQu
转载
2024-09-30 21:29:06
42阅读
# 如何实现 "redis:latest"
## 整体流程
为了实现 "redis:latest"，我们需要以下步骤：
```mermaid
journey
title 实现 "redis:latest"的步骤
section 下载 Redis 镜像
操作者->+Docker Hub: 搜索 Redis 镜像
Docker Hub-->操作者:
原创
2023-08-26 14:09:21
67阅读
一、常见问题目录fork操作进程外开销AOF追加阻塞单机多实例部署二、 fork1、Fork操作 1.同步操作：Fork操作只是做内存页的拷贝，而不是做整个内存的拷贝，所以说，大部分情况下速度是非常快的，但是如果本身的fork操作比较慢，或者是卡在了某个地方，那么它就会阻塞redis的主线程。 2. 与内存量息息相
转载
2023-10-12 21:25:56
220阅读
1 客户端逻辑1.1 概述偏移量管理主要是指管理每个消息队列的消费进度：集群模式消费下会将消息队列的消费进度保存在Broker端，广播模式消费下消息队列的消费进度保存在消费者本地。组件分析：RocketMQ定义了一个接口OffsetStore。它的实现类有两个：RemoteBrokerOffsetStore和LocalFileOffsetStore前者主要是集群消费模式下使用，即与broker进行
