背景许久没有分享 Java 相关的问题排查了，最近帮同事一起排查了一个问题：在使用 Pulsar 消费时，发生了同一条消息反复消费的情况。排查当他告诉我这个现象的时候我就持怀疑态度，根据之前使用的经验 Pulsar 在官方文档以及 API 中都解释过：只有当设置了消费的 ackTimeout 并超时消费时才会重复投递消息，默认情况下是关闭的，查看代码也确实没有开启。那会不会是调用了 negativ
上一篇介绍了单个消费者的创建实现，本章介绍多个消费者一、MultiTopicsConsumerImpl创建入口public class PulsarClientImpl {
public <T> CompletableFuture<Consumer<T>> subscribeAsync(ConsumerConfigurationData<T> co
转载
2024-02-11 09:00:00
329阅读
## Java Pulsar 消费教程
### 1. 概述
Pulsar是一个由Apache Software Foundation开发和维护的分布式消息系统。在Java中使用Pulsar进行消费操作需要以下几个步骤：
1. 创建Pulsar客户端
2. 创建消费者
3. 接收消息
4. 关闭消费者和客户端
下面将详细说明每个步骤需要做什么，以及相应的代码示例。
### 2. 创建Pul
原创
2023-10-10 03:26:10
64阅读
（一）KafkaKafka是一个基于zookeeper的高吞吐低延迟的分布式的发布、订阅消息系统【消息队列】。它能实时处理大量的消息数据以满足各种需求。Kafka是中间件的一种。在java高并发中有 生产者-消费者-仓库模式。为解决生产能力和消费能力不匹配的问题。其中，仓库是为了降低生产者和消费者之间的耦合，而设计的消息中间件。而这里的Kafka 也是中间件的一种。本质解决的问题是一样的。只是Ka
什么是生产者消费者模式简单来说，生产者消费者模式就是缓冲区。 那么这么做有两个好处，一个是解耦，第二个是平衡生产能力和消费能力的差，因为生产者和消费者的速度是不一样的，有了这个缓冲区就可以平衡这样一个落差，达到动态平衡。那么这个缓冲区其实就是一个队列，它的规则就是当队列是满的时候，生产者会被阻塞。当队列为空的时候，消费者会被阻塞， 在java中实现生产者消费者模式有多种方式，主要是线程间的通信，这
转载
2024-07-19 20:46:55
54阅读
生产者消费者模型生产者消费者模型可以描述为： ①生产者持续生产，直到仓库放满产品，则停止生产进入等待状态；仓库不满后继续生产； ②消费者持续消费，直到仓库空，则停止消费进入等待状态；仓库不空后，继续消费； ③生产者可以有多个，消费者也可以有多个；
生产者消费者模型
对应到程序中，仓库对应缓冲区，可以使用队列来作为缓冲区，并且这个队列应该
转载
2024-04-23 16:27:48
76阅读
历史的车轮驶入2016年，人们对大数据的关注焦点，已经从之前的概念炒作，发展到如何通过大数据为客户业务创造价值。未来，数据将以10倍、百倍的速度增长，信息“过载”已经成为许多企业的一大症结。即使是石油，在开采出来之后，还需要经过冶炼、蒸馏、精制等，才能为社会创造价值。企业的数据，如果不能快速地抽取、分析和变现，也将成为企业的沉重负担。在各行各业受到互联网冲击的年代，客户需要的不仅仅是供应商，更是合
1.单例模式懒汉模式需要双端检测饿汉模式直接可以用,多线程安全 2.生产者和消费者生产者/消费者模式的理解及实现3.网络编程3.1概述java是Internet上的语言,他从语言级别上提供了对网络应用程序的只差,程序员能够很容易开发常见的网络应用程序java提供的网络类库,可以实现无痛的网络连接,联网的底层细节被隐藏在java的本机安装系统里,由jvm进行控制,并且java实现了一个跨平
转载
2024-07-26 17:28:36
43阅读
单机模式下的pulsar的java io 生产&发送消息
原创
2022-01-09 10:49:29
383阅读
文章目录系列文章概览模拟场景定义不同的阶段（每个阶段运行的任务不同）预先定义线程池，设置5个线程Phaser1Phaser2Phaser3Phaser4组织4个阶段结果输出输出说明格式执行流程总结 概览本文我们将看一看Java并发包中的Phaser，正如JDK中描述那样，它和CyclicBarrier、CountDownLatch提供的功能很类似，但是多了一些使用场景。A reusable sy
# 实现 Pulsar 多主题消费
## 概述
在本篇文章中，我将向你介绍如何使用 Pulsar 实现多主题消费。Pulsar 是一个分布式流式处理平台，具有高可扩展性和低延迟。通过使用 Pulsar，您可以轻松地同时消费多个主题，并处理它们的消息。
在这个任务中，我们将遵循以下步骤来实现多主题消费：
1. 创建 Pulsar 客户端
2. 创建消费者
3. 订阅多个主题
4. 处理消息
原创
2024-01-15 21:53:07
105阅读
# Pulsar消费者
## 引言
在现代数据处理系统中，消息队列是一种常见的工具，可用于实现异步通信和解耦系统组件。Pulsar是一种高性能、可扩展的分布式消息队列系统，由Apache软件基金会开发和维护。本文将介绍Pulsar消费者的概念和用法，并提供代码示例来说明如何使用Pulsar消费者。
## Pulsar消费者简介
Pulsar消费者是使用Pulsar客户端库与Pulsar代理
原创
2024-01-15 23:12:40
61阅读
当消费者出现异常后，消息会不断requeue（重入队）到队列，再重新发送给消费者，然后再次异常，再次requeue，无限循环，导致mq的消息处理飙升，带来不必要的压力： 怎么办呢？本地重试我们可以利用Spring的retry机制，在消费者出现异常时利用本地重试，而不是无限制的requeue到mq队列。修改consumer服务的application.yml文件，添加内容：spring:
转载
2024-05-15 11:33:24
124阅读
什么是Apache PulsarPulsar是一个支持多租户的、高性能的服务与服务之间消息通讯的解决方案，最初由雅虎开发，现在由Apache软件基金会管理。 Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Mail、Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。 Kafka
转载
2024-02-12 20:11:15
157阅读
# 多线程 Pulsar 消费者的实现指南
## 引言
Apache Pulsar 是云原生消息队列系统，支持多种生产者和消费者模型。今天，我们将通过多线程实现 Java 中的 Pulsar 消费者。此文将帮助你理解实现过程、涉及的代码，及其背后的原理。
## 实现流程
下面是实现多线程 Pulsar 消费者的步骤：
| 步骤 | 描述 |
|------|------|
| 1
原创
2024-09-06 05:21:41
350阅读
Apache PulsarPulsar是一个支持多租户的、高性能的服务与服务之间消息通讯的解决方案，最初由雅虎开发，现在由Apache软件基金会管理。Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Mail、Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。Kafka不够好，智
一、Push模式消费消息**优点：**及时性好**缺点：**如果客户端没有做好流控，一旦服务端推送大量消息到客户端时，就会导致客户端消息堆积甚至崩溃。主要关注点在订阅topic后，消费方式模式并发消费：多个线程同时进行消费，是乱序的顺序消费：多个线程在加锁的情况下进行消费，并行改串行并发消费@Test
public void pushDemo()throws Exception {
Def
python并发编程之多进程1-----------互斥锁与进程间的通信
一、互斥锁进程之间数据隔离，但是共享一套文件系统，因而可以通过文件来实现进程直接的通信，但问题是必须自己加锁处理。注意：加锁的目的是为了保证多个进程修改同一块数据时，同一时间只能有一个修改，即串行的修改，没错，速度是慢了，牺牲了速度而保证了数据安全。1.上厕所的小例子：你上厕所的时候肯定得锁门吧，
许久没有分享 Java 相关的问题排查了，最近帮同事一起排查了一个问题：在使用 Pulsar 消费时.
原创
2022-09-07 21:28:02
182阅读
安装Kafka 1.更新系统sudo yum install epel-release -y
sudo yum update -y2.安装jdksudo yum install -y java-1.8.0-openjdk
java -version3.配置java环境变量 查看java环境变量echo $JAVA_HOME配置环境变量echo "JAVA_HOME=$(readlink -f /u
