孔汤姆1的博客_消息队列cmq

Kafka 核心技术与实战学习笔记（二十五）消费者组重平衡

一.重平衡的触发条件：组成员数量发生变化订阅主题数量发生变化订阅主题的分区数发生变化组成员数

kafka

java

协调者

数据

原创 2022-04-12 12:48:37 117 阅读

Kafka 核心技术与实战学习笔记（二十四）请求处理过程

一.请求/响应所有的请求都是通过 TCP 网络以 Socket 的方式进行通讯的。Apache Kafka自定义的请求

kafka

java

线程池

客户端

原创 2022-04-10 18:40:54 97 阅读

Kafka 核心技术与实战学习笔记（二十三）kafka副本机制

一.副本机制（Repliaction）指分布式系统在多台网络互联的机器上保存相同的数据拷贝提供数据冗余：

kafka

java

数据

分布式系统

原创 2022-04-10 00:39:36 139 阅读

Kafka 核心技术与实战学习笔记（二十二）消费者组消费进度监控都怎么实现

消费者Lag或Consumer Lag：监控他们的消费进度了，或者监控他们消费的滞后程度滞后程度：指消费

kafka

java

bootstrap

数据

原创 2022-04-09 22:41:47 145 阅读

Kafka 核心技术与实战学习笔记（二十一）Java消费者管理TCP

一.创建TCP连接消费者端主要的程序入口是KafkaConsumer类。生产者不同的是，构建KafkaConsumer

kafka

java

协调者

长连接

原创 2022-04-07 23:53:45 41 阅读

Kafka 核心技术与实战学习笔记（二十）Kafka Java Consumer设计原理

KafkaConsumer是双线程设计，用户主线程和心跳线程用户主线程：启动Consumer应用程序main方法那

kafka

java

消息处理

主线程

原创 2022-04-07 09:17:57 136 阅读

Kafka 核心技术与实战学习笔记（十九） CommitFailedException异常

一.CommitFailedExceptionCommitFailedException：Consumer客户端在提交位移时出现了错误或异常，而且

kafka

java

消息处理

解决方案

原创 2022-04-05 23:24:44 97 阅读

Kafka 核心技术与实战学习笔记（十八）Kafka中位移提交

Consumer端位移和消息在分区中的位移不是一回事是下一条消息的位移，而不是目前最新消费消息的位

kafka

java

数据

解决方案

原创 2022-04-05 20:49:55 79 阅读

Kafka 核心技术与实战学习笔记（十七）消费者组重平衡

一.RebalanceRebalance是让consumer Group下所有的Consumer实例消费订阅主题的所有分区达成共

kafka

java

协调者

解决方案

原创 2022-04-04 18:46:46 83 阅读 1收藏

Kafka 核心技术与实战学习笔记（十六）位移主题

Kafka内部主题（Internal Topic）：__Consumer_offsets一.位移主题老版本老版本Cosumer位移管理依托于Apa

kafka

java

数据

zookeeper

原创 2022-04-03 23:16:29 71 阅读

Kafka 核心技术与实战学习笔记（十五）消费者组

一.消费者组消费者组： Consumer GRoupkafka提供可扩容且具有容错性的消费机制组内有多个消费者和消费者

kafka

java

消息队列

正则表达式

原创 2022-04-02 21:37:48 123 阅读

Kafka 核心技术与实战学习笔记（十四）幂等生产者和事务生产者

kafka消息交付可靠性保障和精确，处理一次性语义的实现一.消息交付可靠性保障：kafka对Prodcer"消息且Produce

kafka

java

幂等性

数据库

原创 2022-04-02 20:48:11 71 阅读

Kafka 核心技术与实战学习笔记（十三）Java生产者如何管理TCP连接

一.kafka生产者程序概览kafka的Java生产者API主要对象就是kafkaProducer构造生产者对象所需参数

kafka

java

元数据

发送消息

原创 2022-04-01 21:33:10 42 阅读

Kafka 核心技术与实战学习笔记（十一）无消息丢失配置

一. kafka 什么情况下保证消息不丢失： kafka对"已提交"的消息（commit message）做有限度的持久化保

kafka

java

数据

持久性

原创 2022-04-01 18:54:24 54 阅读

Kafka 核心技术与实战学习笔记（十）生产者压缩算法

压缩（compression）秉承了时间换空间trad-off思想用CPU时间换磁盘空间或网络I/O传输量；怎么压缩改进：.

kafka

java

压缩算法

zip压缩

原创 2022-03-31 21:36:49 28 阅读

Kafka 核心技术与实战学习笔记（九）生产者消息分区

一.为什么分区kafka主题（Topic）：是承载真是数据的逻辑容器主题之下由若干分区，kafka的消息组织方

kafka

java

负载均衡

数据

原创 2022-03-31 20:55:54 28 阅读

Kafka 核心技术与实战学习笔记（八）kafka集群参数配置（下）

一.Topic级别参数Topic的优先级:如果同时设置Topic级别参数和全局Broker参数，那么Topic级别优

kafka

java

系统参数

文件系统

原创 2022-03-30 21:44:31 35 阅读

Kafka 核心技术与实战学习笔记（七）kafka集群参数配置（上）

一.Broker 端参数Broke存储信息配置log.dirs:非常重要，指定Broker需要使用的若干文件目录路径，没有默认值

kafka

java

数据

主机名

原创 2022-03-29 22:32:11 62 阅读

Kafka 核心技术与实战学习笔记（六）kafka线上集群部署方案

操作系统-LinuxKafka是JVM系的大数据框架 kafka由Scala语言和Java语言编写而成，编译之后的源代码就是

kafka

服务器

linux

原创 2022-03-29 20:24:34 60 阅读

Kafka 核心技术与实战学习笔记（二）Kafka术语

一.主题（Topic）主题（Topic）：发布订阅的对象，我们可以为每个业务，每个应用甚至是每类数据

kafka

java

数据

应用程序

原创 2022-03-27 20:15:27 68 阅读 1收藏

Kafka 核心技术与实战学习笔记（一）什么是消息队列

什么是Kafka？Apache KafKa 是一款开源的消息引擎系统。什么是消息队列消息引擎系统是一组规

kafka

数据传递

字节序

原创 2022-03-27 11:43:20 50 阅读

消息队列------消息传输的可靠性

kafka的解决方式1.消费者弄丢了数据唯一可能导致消费者弄丢消息的情况是消费者自动提交了 offset消息，kafka认为你已经消费了这个消息，但是你刚刚处理的过程中，自己就挂掉了，那么这个消息就丢失了那么大家都知道，kafka能够自己自动提交offset,那么只要关闭自动提交offset,在处理完之后自己手动提交offset,就可以保证数据不会丢...

数据

kafka

生产环境

原创 2019-10-08 09:44:26 71 阅读

消息队列-----消息的幂等

一.kafaka消费端可能出现的问题每一条消息都有一个offset来作为标记,代表消息顺序的序号消费者从kafak消费,按照这个标记顺序,在消费之后,会提交offerset,告诉kafka我已经消费了多少数据了zk里通过记录消费者的offset来进行标记保证消息的顺序性,以及不会被重复读取消费者即使重启了,也不影响offset的相关记录但是存在问题:ka...

redis

幂等性

数据

原创 2019-10-08 09:06:38 115 阅读

消息队列-------如何保证高可用性（HA）kafka篇

broker进程：每个kafka服务都部署一套属于自己的启动进程kafka 通过同步数据到另一台机器上，实现两套相同的机制实现高可用的原理就是做备份每份数据都有一模一样的副本选举出来一个leader 实现主从复制每个节点都有一个leader 和多个follwer当某一个机器宕机，如果是上面的leader 宕机，但机器上还是有follower此时kafk...

kafka

数据

主从复制

原创 2019-09-30 09:58:25 46 阅读

消息队列-------如何保证高可用性（HA）

一.消息队列如何保证高可用性？rabbitMQ不是分布式的架构设计分为三种设计模式：一.单机模式二.普通集群模式(可用性无保障，只是解决了吞吐量问题，但是对于HA高可用并不能进行保障)三.镜像集群模式（具有HA高可用性，但是本质也是一个集群部署的方式）二.普通集群模式图用户 rabbitMQ作为集群进行部署到多台机器上 ...

数据

高可用性

消息队列

原创 2019-09-30 09:36:12 59 阅读

消息队列-------常见的消息队列

一.上图二.总结activeMQ使用越来越少，无法应用于大规模的吞吐场景rabbitMQ 性能良好，具有完善的管理系统，但是吞吐量低，入门简

吞吐能力

实时计算

大数据

原创 2019-09-30 09:08:53 320 阅读

消息队列-------解决mysql的性能问题

mysql一般处理qps2000次并发5000请求将会把数据库压死一.使用消息队列实现削峰的场景100万用户，mysql 就有出现宕机

mysql

消息队列

系统可用性

原创 2019-09-30 08:40:37 41 阅读

消息队列-------消息幂等

消息幂等性1.什么是幂等性：对一个接口，执行相同的操作，一个跟多次的结果都相同，就叫幂等性，简单来讲，接口应该对重复操作，进行预防性的处理，比如不再执行等2.、消息队列可能存在的问题：消息积压高可用性消息的延时，消息失效3.为什么使用消息队列解耦，异步，削峰解耦：避免硬编码，Java ，pyton,c++不同系统之间相互通信异步：a可以同时调用b接口，c接口...

消息队列

幂等性

解耦

原创 2019-09-29 20:47:31 57 阅读

服务器

访问者

原创 2019-09-29 20:31:46 61 阅读

消息队列-----腾讯云cos的相关知识

1.地域+队名构成mq 的唯一通道2.消息id :每个消息都有属于他自己的消息id3:接受句柄：用户要接受该消息的消息句柄1.消息句柄存在于消息中，需要主动接受处理2.消息句柄用于删除更改消息3.消息句柄，对多次重复的消息，句柄不同，但是只能使用最新的句柄才能够删除消息...

句柄

原创 2019-09-29 19:55:57 78 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx62dfab6d9cfc0的博客

Kafka 核心技术与实战学习笔记（二十五）消费者组重平衡

Kafka 核心技术与实战学习笔记（二十四）请求处理过程

Kafka 核心技术与实战学习笔记（二十三）kafka副本机制

Kafka 核心技术与实战学习笔记（二十二）消费者组消费进度监控都怎么实现

Kafka 核心技术与实战学习笔记（二十一）Java消费者管理TCP

Kafka 核心技术与实战学习笔记（二十）Kafka Java Consumer设计原理

Kafka 核心技术与实战学习笔记（十九） CommitFailedException异常

Kafka 核心技术与实战学习笔记（十八）Kafka中位移提交

Kafka 核心技术与实战学习笔记（十七）消费者组重平衡

Kafka 核心技术与实战学习笔记（十六）位移主题

Kafka 核心技术与实战学习笔记（十五）消费者组

Kafka 核心技术与实战学习笔记（十四）幂等生产者和事务生产者

Kafka 核心技术与实战学习笔记（十三）Java生产者如何管理TCP连接

Kafka 核心技术与实战学习笔记（十一）无消息丢失配置

Kafka 核心技术与实战学习笔记（十）生产者压缩算法

Kafka 核心技术与实战学习笔记（九）生产者消息分区

Kafka 核心技术与实战学习笔记（八）kafka集群参数配置（下）

Kafka 核心技术与实战学习笔记（七）kafka集群参数配置（上）

Kafka 核心技术与实战学习笔记（六）kafka线上集群部署方案

Kafka 核心技术与实战学习笔记（二）Kafka术语

Kafka 核心技术与实战学习笔记（一）什么是消息队列

消息队列------消息传输的可靠性

消息队列-----消息的幂等

消息队列-------如何保证高可用性（HA）kafka篇

消息队列-------如何保证高可用性（HA）

消息队列-------常见的消息队列

消息队列-------解决mysql的性能问题

消息队列-------消息幂等

关于并发的相关概念

消息队列-----腾讯云cos的相关知识