本文简要介绍Kafka基本概念、Kafka集群架构和Topic设计以及Kafka集群环境的配置部署，并且测试生产端和消费端的消息处理，加强对Kafka消息队列设计理念的理解。1、Kafka基本概念Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能
转载
2024-03-22 08:36:17
199阅读
什么是Kafka1.Apache Kafka是一个开源消息系统，由Scala写成。2.Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。3.无论是kafka集群，还是consumer都依赖于zookeeper集群保存一些m
转载
2024-03-18 16:40:29
113阅读
文章目录前言一、Kafka的使用1.安装包2.注入3.封装3.1 IKafkaConsumer和IKafkaProducer3.2 KafkaConsumer和KafkaProducer3.3 KafkaConfig配置类3.4 KafkaHelper帮助类4.使用 前言Kafka是一个分布式流处理平台，主要用于处理实时数据流。它可以用于日志收集、数据流处理、消息队列等场景。在大数据处理、实时数
转载
2024-04-16 09:07:30
97阅读
## 实现Redis集群是CP还是AP
### 一、流程图
下面是实现Redis集群是CP还是AP的整个流程图：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 安装Redis |
| 2 | 配置Redis集群 |
| 3 | 测试集群是否正常工作 |
### 二、步骤
#### 1. 安装Redis
首先，你需要安装Redis。可以使用以下代码进行安装：
``
原创
2024-04-24 12:35:37
93阅读
协调大数据之间的框架合作入门Zookeeper为分布式应用提供协调服务的Apache项目 观察者模式工作机制存数据，通知注册过的观察者 ----协调Zookeeper 特点 ：主从（leader-follower）6）实时性，在一定时间范围内，Client能读到最新数据数据结构和unix不同，每个节点是ZNode 可以存数据也可以有子节点 ，
转载
2024-09-23 17:37:15
29阅读
概述听到这个名字是不是很熟悉，没错这个名字就是文学家卡夫卡的英文，传说中国的王小波也被誉为东方的乔伊斯+卡夫卡，哈哈哈，当然这篇文章不是谈论文学家卡夫卡的，那为什么一个消息中间件叫kafka呢？很简单就是这个中间件的作者喜欢卡夫卡，所以就这么命名了，如果有一天你也写出来一个牛逼的软件，而且你也很喜欢王小波，那你可以命名为xiaobo，没人可以拦得住你。kafka架构先上图（开篇一张图，内容全靠编）
转载
2024-03-27 10:20:30
65阅读
一、前言本文讨论redis集群模式模式之一的主从复制需要具备知识点：redis集群方案，cap理论知识二、主从复制在主从复制中，数据库分为两类，一类是主库(master)，另一类是同步主库数据的从库(slave)。主库可以进行读写操作，当写操作导致数据变化时会自动同步到从库。而从库一般是只读的(特定情况也可以写,通过参数slave-read-only指定)，并接受来自主库的数据，一个主库可拥有多个
转载
2023-06-29 14:27:52
189阅读
Actor模式是一种并发模型，与另一种模型共享内存完全相反，Actor模型share nothing。所有的线程(或进程)通过消息传递的方式进行合作，这些线程(或进程)称为Actor。共享内存更适合单机多核的并发编程，而且共享带来的问题很多，编程也困难。随着多核时代和分布式系统的到来，共享模型已经不太适合并发编程，因此几十年前就已经出现的Actor模型又重新受到了人们的重视。MapReduce就
在一个分布式系统中，注册中心就像114查号台，保存服务的“联系方式”，其本质是存储+运维逻辑。它主要的功能是服务注册和服务发现，另外还为服务治理提供一些支撑。服务注册和发现 服务提供者服务启动时，将自身的地址、端口等信息发送给注册中心保存。服务消费者调用其他服务时，消费者向注册中心发送请求，获取其他服务的地址信息。根据地址信息与服务提供方交互。注册中心保存服务的地址信息以及服务之间的调用
转载
2023-07-04 22:25:37
578阅读
目录分布式CAP理论AP模型的分布式锁Redis分布式锁原理Redis分布式锁的实现Redis分布式锁代码AP模式分布式锁总结 分布式CAP理论在介绍分布式锁之前，先说一下CAP理论。因为现在提到分布式系统一定离不开CAP理论。C（Consistency）一致性、A（Availability）可用性、P（Partition tolerance）分区容错性。三者不能同时存在，由于P是必要因素，所以
转载
2023-05-25 10:18:46
584阅读
最近刚好在看CAP理论，加上之前分析的redis cluster，就在想redis的cluster是什么模式的，AP还是CP？首先还是简单讲下CAP，具体的可见 。CAP分别是：强一致性（Consistency），可用性（Availability）和分区容错性（Partition Tolerance）。作为一个分布式系统分区容错性一定是需要考虑的，因此P一定是有的。但有一点需要注意，分区容错性是允
转载
2023-07-28 15:38:18
340阅读
1.结论：Zookeeper实现了A可用性、P分区容错性、C中的写入强一致性，丧失的是C中的读取一致性，读取准确地说是顺序一致性 主要有以下三点：从一个读写请求分析，保证了可用性（不用阻塞等待全部follwer同步完成），保证不了数据的一致性，所以是ap。从zk架构分析，zk在leader选举期间，会暂停对外提供服务（为啥会暂停，因为zk依赖leader来保证数据一致性)，所以丢失了可用性，保证了
转载
2024-02-20 20:51:28
247阅读
目录1.CAP理论2.Redis主从复制模型1.什么是主从复制2. 主从复制是异步还是同步的3.主从复制的作用4.主从复制的过程3.Redis Sentinel 哨兵模式1.什么是哨兵模式2.哨兵模式架构3.节点下线4.Leader选举5.为什么需要三个及以上的哨兵4.Redis Cluster 集群数据分区方案1.哈希分区方案2.一致性哈希分区方案3.带虚拟节点的一致性哈希分区方案1.CAP理论
转载
2023-09-01 23:15:51
244阅读
1、基本介绍redis是一个开源的key value存储系统，受到了广大互联网公司的青睐。redis3.0版本之前只支持单例模式，在3.0版本及以后才支持集群，我这里用的是redis3.0.0版本； redis集群采用P2P模式，是完全去中心化的，不存在中心节点或者代理节点； redis集群是没有统一的入口的，客户端（client）连接集群的时候连接集群中的任意节点（node）即可，集群内部的节点
转载
2023-10-18 23:41:33
97阅读
文章目录1:offset自动控制1：消费者自动提交offset2:手动提交3:指定offset消费2：Ackes应答和Retores重试3：幂等写4:生产者事务1:生产者事务2：消费者事务5：消费者&生产者事务 1:offset自动控制Kafka消费者默认对于未订阅的topic的offset的时候，也就是系统并没有存储该消费者的消费分区的记录信息，默认Kafka消费者的默认首次消费策略：
转载
2024-04-01 14:55:39
16阅读
BP基带处理器：其 实很多玩家都只听过基带这个东西，但不知道这个到底是什么。基带处理器管理的是手机一切无线信号（除了wifi，蓝牙，NFC等等），一款手机支持多少种 网络模式，支持4G还是3G，都是由基带部分决定的。BP做的最有名的是高通，其实高通发家靠的就是优秀的BP基带处理器，而不是AP应用处理器。可能大家对高通的BP没有什么印象，这里我就跟大家举几个使用高通BP的手机。iPhone4到iPh
转载
2024-03-03 19:57:38
184阅读
一.zab协议（支持崩溃恢复的原子广播协议）的作用 保证zookeeper集群的分布式一致性（分为原子广播阶段的一致性和崩溃恢复的一致性）二.原子广播阶段 1.leader给每个proposal分配一个zxid，发起proposal，放到给每个follower准备的队列 2.follower获取proposal，比较当前proposal的zxid与自己事务日志最后的zxid，如果大于事务日志的z
# Redis 是 AP 还是 CP？
在分布式系统的设计中，CAP 理论告诉我们，在一致性（Consistency）、可用性（Availability）和分区容忍性（Partition Tolerance）之间只能选择两者，而 Redis 是一个广泛使用的高性能键值数据库，它究竟是 AP 还是 CP 呢？让我们揭开这个谜团。
## CAP 理论简介
CAP 理论是由 Eric Brewer
原创
2024-09-26 04:48:05
166阅读
摸索了几天，大体也初步算入了mongodb的门，仔细一想，mongodb和传统关系型数据库差别很大了。传统关系型数据库中，一个数据库有一个或者多个表(Table)，表中的数据是称之为记录，一行一行的，每行数据分不同的字段。举一个容易理解的例子。一个人有姓名，性别，年龄，以及很多张银行卡；如果使用关系型数据库，我们可能会是使用两张或者更多表来做记录，一张用户表来存用户的基本信息，另一张表通过用户id
正文(4)bean销毁销毁有两种方式A.使用配置文件指定的destroy-method属性B.实现org.springframwork.bean.factory.DisposeableBean接口##作用域singleton当一个bean的作用域为singleton, 那么Spring IoC容器中只会存在一个共享的bean实例，并且所有对bean的请求，只要id与该bean定义相匹配，
