架构Server，SpiderCrawlIdpackage Peerslee.HotMonitor.Server.Spider;/* * 1. 定时抓取id * 2. 上传zk * https://www.panda.tv/live_lists?pageno=1&pagenum=120 */import java.util.ArrayList;import java.uti...
原创
2022-10-28 12:24:38
55阅读
Our follower graph has millions of nodes and billions of edges, making it
原创
2023-05-12 21:36:08
69阅读
Kafka允许topic的分区拥有若干副本，这个数量是可以配置的，你可以为每个topci配置副本的数量。Kafka会自动在每个个副本上备份数据，所以当一个节点down掉时数据依然是可用的。Kafka的副本功能不是必须的，你可以配置只有一个副本，这样其实就相当于只有一份数据。创建副本的单位是topic的分区，每个分区都有一个leader和零或多个followers.所有的读写操作都由leader处理
如下所示：leader==》读写，follower==>只负责读；Zookeeper工作方式》Zookeeper集群包含一个1个Leader，多个Follower》所有的Follower都可提供读服务》所有的写操作都会被forward到Leader》Client与Server通过NIO通信》全局串行化所有的写操作》保证同一客户端的指令被FIFO执行》保证消息通知的FIFO(2)kafka 不
重要名词解释： log end offset (logEndOffset)，表示log中最后的message的offst位置.high watermark (HW)，表示Partition各个replicas数据间同步且一致的offset位置，即表示allreplicas已经commit位置，每个Broker缓存中维护此信息,并不断更新。 Kafka中replica
原创
2022-11-24 20:58:59
1008阅读
重要名词解释： log end offset (logEndOffset)，表示log中最后的message的of
原创
精选
2023-04-27 18:23:44
552阅读
淘宝目前公开了其网络服务器源代码Tengine。根据官方介绍，Tengine是由淘宝网发起的Web服务器项目。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网，天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。它们都采用了多线程非阻塞模式，并使用了LF模型。我最近整理了一下LF的相关
转载
2023-04-28 11:37:26
78阅读
作者：黄东旭很久没有写文章了，正好今天有一些闲暇的时间，写写最近的一些 Update。关注 TiDB 的同学，最近可能注意到 TiKV 这边合并了一个不大不小的 PR #5051 ，支持了一个特性叫做 Follower Read，看到这个功能被合并进主干我确实有点百感交集，还发了条朋友圈庆祝，因为我实在很喜欢这个特性，可能有同学不太理解，今天就写一写和这个 PR 相关的一些事情。大家知道，TiDB
转载
2022-08-13 00:01:19
171阅读
摘要本博文主要介绍Zookeeper的选举机制的原理与Zookeeper事务请求处理的原理。一、zookeeper选举算法原理Leader 服务器的作用是管理 ZooKeeper 集群中的其他服务
原创
2023-04-04 17:34:18
1603阅读
一、zookeeper 与kafka保持数据一致性的不同点： (1)zookeeper使用了ZAB(Zookeeper Atomic Broadcast)协议，保证了leader,follower的一致性，leader 负责数据的读写，而follower只负责数据的读，如果follower遇到写操作
转载
2020-09-11 11:18:00
95阅读
2评论
我写了另一篇zookeeper选举机制的，可以参考：zookeeper 负载均衡 核心机制 包含ZAB协议(滴滴，阿里面试) 一、zookeeper 与kafka保持数据一致性的不同点： (1)zookeeper使用了ZAB(Zookeeper Atomic Broadcast)协议，保证了lead
转载
2018-06-13 17:48:00
63阅读
2评论
上图就是L/F多线程模型的状态变迁图，共6个关键点：（1）线程有3种状态：领导leading，处理processing，追随following（2）假设共N个线程，其中只有1个leading线程（等待任务），x个processing线程（处理），余下有N-1-x个following线程（空闲）（3）有一把锁，谁抢到就是leading（4）事件/任务来到时，leading线程会对其进行处理，从而转化
原创
2020-11-12 22:18:32
115阅读
前一篇介绍了Leader选举，这一篇介绍选举成功之后Leader和Follower之间的初始化。先看Leader
原创
2023-05-14 22:36:17
133阅读
文章目录why在 Leader 节点选举后，还需要把 Leader 服务器和 Follow 服务器进行数据同步。在保证整个 ZooKeeper 集群中服务器数据一致的前提下，ZooKeeper 集群才能对外提供服务。why介绍 ZooKeeper 集群数据同步之前，先要清楚为什么要进行数据同步。在 ZooKeeper 集群服务运行过程中，主要负责处理发送到 ZooKeeper 集群服务端的客户端会话请求。这些客户端的会话请求基本可以分为事务性的会话请求和非事务性的会话请求，而这两种会话的本质区别在于
原创
2021-06-03 19:55:37
266阅读
文章目录why在 Leader 节点选举后，还需要把 Leader 和 Follow 进行数据同步
原创
2022-03-21 10:29:47
237阅读
消息队列mq的两种模式
发布订阅模式分为两种：①队列推送数据（消费者能力不平均）；②消费者拉取消息（要维护一个长轮询）。kafka属于消费者主动拉取数据的模式。
kafka架构
Broker
kafka服务器。
Topic主题
不同消息的分类。将消费分类。topic包含多个partition，partition有leader和follower备份机制，leader挂掉follower会上升为l
原创
2021-07-06 09:55:30
3172阅读
消息队列mq的两种模式发布订阅模式分为两种：①队列推送数据（消费者能力不平均）；②消费者拉取消息（要维护一个长轮询）。kafka属于消费者主动拉取数据的模式。kafka架构Brokerkafka服务器。Topic主题不同消息的分类。将消费分类。topic包含多个partition，partition有leader和follower备份机制，leader挂掉follower会上升为leader。Partition分区分区是为了提高主题Topic的负载能力。消息会轮询发送到同一Topi
原创
2022-01-19 15:13:19
266阅读
Kafka中，分区的某个副本会被指定为 Leader，负责响应客户端的读写请求。分区中的其他副本自动成为 Follower，主动拉取（同步）Leader 副本中的数据，写入自己本
