什么是Kafka1.Apache Kafka是一个开源消息系统，由Scala写成。2.Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。3.无论是kafka集群，还是consumer都依赖于zookeeper集群保存一些m
转载
2024-03-18 16:40:29
113阅读
文章目录1:offset自动控制1：消费者自动提交offset2:手动提交3:指定offset消费2：Ackes应答和Retores重试3：幂等写4:生产者事务1:生产者事务2：消费者事务5：消费者&生产者事务 1:offset自动控制Kafka消费者默认对于未订阅的topic的offset的时候，也就是系统并没有存储该消费者的消费分区的记录信息，默认Kafka消费者的默认首次消费策略：
转载
2024-04-01 14:55:39
16阅读
概述听到这个名字是不是很熟悉，没错这个名字就是文学家卡夫卡的英文，传说中国的王小波也被誉为东方的乔伊斯+卡夫卡，哈哈哈，当然这篇文章不是谈论文学家卡夫卡的，那为什么一个消息中间件叫kafka呢？很简单就是这个中间件的作者喜欢卡夫卡，所以就这么命名了，如果有一天你也写出来一个牛逼的软件，而且你也很喜欢王小波，那你可以命名为xiaobo，没人可以拦得住你。kafka架构先上图（开篇一张图，内容全靠编）
转载
2024-03-27 10:20:30
65阅读
这次的目标是实现通过标注Attribute实现缓存的功能，精简代码，减少缓存的代码侵入业务代码。缓存内容即为Service查询汇总的内容，不做其他高大上的功能，提升短时间多次查询的响应速度，适当减轻数据库压力。在做之前，也去看了EasyCaching的源码，这次的想法也是源于这里，AOP的方式让代码减少耦合，但是缓存策略有限。经过考虑决定，自己实现类似功能，在之后的应用中也方便对缓存策略的扩展。本
转载
2023-08-13 19:45:29
127阅读
目录分布式CAP理论AP模型的分布式锁Redis分布式锁原理Redis分布式锁的实现Redis分布式锁代码AP模式分布式锁总结 分布式CAP理论在介绍分布式锁之前，先说一下CAP理论。因为现在提到分布式系统一定离不开CAP理论。C（Consistency）一致性、A（Availability）可用性、P（Partition tolerance）分区容错性。三者不能同时存在，由于P是必要因素，所以
转载
2023-05-25 10:18:46
584阅读
1.结论：Zookeeper实现了A可用性、P分区容错性、C中的写入强一致性，丧失的是C中的读取一致性，读取准确地说是顺序一致性 主要有以下三点：从一个读写请求分析，保证了可用性（不用阻塞等待全部follwer同步完成），保证不了数据的一致性，所以是ap。从zk架构分析，zk在leader选举期间，会暂停对外提供服务（为啥会暂停，因为zk依赖leader来保证数据一致性)，所以丢失了可用性，保证了
转载
2024-02-20 20:51:28
247阅读
最近刚好在看CAP理论，加上之前分析的redis cluster，就在想redis的cluster是什么模式的，AP还是CP？首先还是简单讲下CAP，具体的可见 。CAP分别是：强一致性（Consistency），可用性（Availability）和分区容错性（Partition Tolerance）。作为一个分布式系统分区容错性一定是需要考虑的，因此P一定是有的。但有一点需要注意，分区容错性是允
转载
2023-07-28 15:38:18
340阅读
前言参考别人博客，编写的 Redis 缓存注解内含大量注释说明, 复制黏贴即可使用。步骤 2-8 为Redis缓存处理，可以单独提出，放入 base 包或 util 包中步骤 9-2 为测试使用。步骤参考博客pom 依赖。需要的依赖文件application.yml 配置文件。配置 Aop 和 Redis集群RedisConfig 类。 RedisTemplate 实列化配置文件。RedisUti
转载
2023-10-11 22:54:00
49阅读
一、TCP/IP 分层模型1、应用层向用户传送数据的层称为应用层。 HTTP(WEB)、SMTP(电子邮件)、POP、IMAP、FTP（文件传输）等都属于应用层协议。2、传输层（TCP、UDP）传输层负责确保各包以发送的顺序接收，并保证没有数据丢失或破坏。这一层主要有两个协议：TCP，传输控制协议。这是一个开销很高的协议支持对丢失或破坏的数据进行重传，并按照发送时顺序进行传送。UDP，用户数据报协
BP基带处理器：其 实很多玩家都只听过基带这个东西，但不知道这个到底是什么。基带处理器管理的是手机一切无线信号（除了wifi，蓝牙，NFC等等），一款手机支持多少种 网络模式，支持4G还是3G，都是由基带部分决定的。BP做的最有名的是高通，其实高通发家靠的就是优秀的BP基带处理器，而不是AP应用处理器。可能大家对高通的BP没有什么印象，这里我就跟大家举几个使用高通BP的手机。iPhone4到iPh
转载
2024-03-03 19:57:38
184阅读
本文简要介绍Kafka基本概念、Kafka集群架构和Topic设计以及Kafka集群环境的配置部署，并且测试生产端和消费端的消息处理，加强对Kafka消息队列设计理念的理解。1、Kafka基本概念Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能
转载
2024-03-22 08:36:17
199阅读
# 如何选择Redis的数据一致性模型
## 概述
在选择使用Redis时，需要考虑到其数据一致性模型是CP（Consistency and Partition Tolerance）还是AP（Availability and Partition Tolerance）。本篇文章将介绍如何判断应该选用哪种数据一致性模型，并给出相应的步骤和代码示例。
## 流程图
```mermaid
flowch
原创
2024-04-21 03:44:33
82阅读
一.zab协议（支持崩溃恢复的原子广播协议）的作用 保证zookeeper集群的分布式一致性（分为原子广播阶段的一致性和崩溃恢复的一致性）二.原子广播阶段 1.leader给每个proposal分配一个zxid，发起proposal，放到给每个follower准备的队列 2.follower获取proposal，比较当前proposal的zxid与自己事务日志最后的zxid，如果大于事务日志的z
# Redis 是 AP 还是 CP？
在分布式系统的设计中，CAP 理论告诉我们，在一致性（Consistency）、可用性（Availability）和分区容忍性（Partition Tolerance）之间只能选择两者，而 Redis 是一个广泛使用的高性能键值数据库，它究竟是 AP 还是 CP 呢？让我们揭开这个谜团。
## CAP 理论简介
CAP 理论是由 Eric Brewer
原创
2024-09-26 04:48:05
166阅读
摸索了几天，大体也初步算入了mongodb的门，仔细一想，mongodb和传统关系型数据库差别很大了。传统关系型数据库中，一个数据库有一个或者多个表(Table)，表中的数据是称之为记录，一行一行的，每行数据分不同的字段。举一个容易理解的例子。一个人有姓名，性别，年龄，以及很多张银行卡；如果使用关系型数据库，我们可能会是使用两张或者更多表来做记录，一张用户表来存用户的基本信息，另一张表通过用户id
正文(4)bean销毁销毁有两种方式A.使用配置文件指定的destroy-method属性B.实现org.springframwork.bean.factory.DisposeableBean接口##作用域singleton当一个bean的作用域为singleton, 那么Spring IoC容器中只会存在一个共享的bean实例，并且所有对bean的请求，只要id与该bean定义相匹配，
1、kafka是什么？是由LinkedIn开发的一个分布式基于发布/订阅的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。2、产生背景是一个消息系统，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（Page
转载
2024-03-20 20:05:45
91阅读
# Redis主从架构：CP还是AP？
在分布式系统设计中，CAP理论（Consistency, Availability, Partition Tolerance）是理解系统特性的一个重要工具。按照CAP理论，保证一致性（C）和可用性（A）两者是无法同时做到的。因此，在设计一个系统时必须在这三者之间做出权衡。
Redis，作为一个高性能的键值数据库，通常被部署为主从架构。人们常常问，Redi
原创
2024-09-09 04:17:21
138阅读
文章目录前言一、Kafka的使用1.安装包2.注入3.封装3.1 IKafkaConsumer和IKafkaProducer3.2 KafkaConsumer和KafkaProducer3.3 KafkaConfig配置类3.4 KafkaHelper帮助类4.使用 前言Kafka是一个分布式流处理平台，主要用于处理实时数据流。它可以用于日志收集、数据流处理、消息队列等场景。在大数据处理、实时数
转载
2024-04-16 09:07:30
97阅读
协调大数据之间的框架合作入门Zookeeper为分布式应用提供协调服务的Apache项目 观察者模式工作机制存数据，通知注册过的观察者 ----协调Zookeeper 特点 ：主从（leader-follower）6）实时性，在一定时间范围内，Client能读到最新数据数据结构和unix不同，每个节点是ZNode 可以存数据也可以有子节点 ，
转载
2024-09-23 17:37:15
29阅读
