rocketmq java mysql教程 rocketmq流程

转载

mob64ca140e76c8 2023-12-31 19:38:53

文章标签 RocketMQ 生产者发送消息事务消息延迟消息 文章分类 Java 后端开发

生产者发送消息流程

发送消息流程
defaultMQProducerImpl#sendDefaultImpl方法
Netty是异步网络通信框架，如何实现发送同步消息？
异步发送时有很多request，每个response返回后如何与request进行对应？
发送消息实践

发送顺序消息
发送延迟消息
发送事务消息

如果生产者忘记了提交或回滚，那么Broker怎么处理Half消息？

发送单向消息-sendOneWay
批量发送消息
总结(重要!!!)

发送消息流程

RocketMQ客户端的消息发送通常分为以下3层：

业务层：通常指直接调用 RocketMQ Client发送API 的业务代码
消息处理层：指RocketMQ Client 获取业务发送的消息对象后，一系列的参数检查、消息发送准备、参数包装等操作
通信层：指RocketMQ基于Netty封装的一个RPC通信服务，RocketMQ的各个组件之间的通信全部使用该通信层

总体上讲，消息发送流程首先是 RocketMQ 客户端接收业务层消息，然后通过DefaultMQProducerImpl发送一个RPC请求给Broker，再由Broker处理请求并保存消息

以DefaultMQProducer.send(Message msg)接口为例整理发送流程，如下图所示：

rocketmq java mysql教程 rocketmq流程_发送消息

消息发送流程具体分为3步：

业务代码调用defaultMQProducerImpl.send()方法发送消息
通过设置的发送超时时间，调用defaultMQProducerImpl.send()方法发送消息。设置的超时时间可以通过sendMsgTimeout进行变更，其默认值为3s
执行defaultMQProducerImpl.sendDefaultImpl()方法

接下来就看一下defaultMQProducerImpl#sendDefaultImpl方法

defaultMQProducerImpl#sendDefaultImpl方法

关键入参包括：

final CommunicationMode communicationMode，通信模式，同步、异步还是单向
final SendCallback sendCallback，对于异步模式，需要设置发送完成后的回调

该方法是发送消息的核心方法，执行过程分为5步：

两个检查：生产者状态、消息及消息内容。没有运行的生产者不能发送消息。消息检查主要检查消息是否为空，消息的Topic的名字是否为空或者是否符合规范；消息体大小是否符合要求，最大值为4MB，可以通过maxMessageSize进行设置
执行tryToFindTopicPublishInfo()方法：获取Topic路由信息，如果不存在则发出异常提醒用户。如果本地缓存没有路由信息，就通过Namesrv获取路由信息，更新到本地，再返回
计算消息发送的重试次数，同步重试和异步重试的执行方式是不同的
执行队列选择方法selectOneMessageQueue()，根据队列对象中保存的上次发送消息的Broker 的名字和Topic路由，选择（轮询）一个Queue将消息发送到Broker。可以通过 sendLatencyFaultEnable 来设置是否总是发送到延迟级别较低的 Broker，默认值为False
执行sendKernelImpl()方法。该方法是发送消息的核心方法，主要用于准备通信层的入参（比如Broker地址、请求体等），将请求传递给通信层，内部实现是基于Netty的，在封装为通信层request对象RemotingCommand前，会设置RequestCode表示当前请求是发送单个消息还是批量消息

Netty是异步网络通信框架，如何实现发送同步消息？

通过org.apache.rocketmq.remoting.netty.NettyRemotingAbstract.invokeSyncImpl()方法来实现

public RemotingCommand invokeSyncImpl(final Channel channel, final RemotingCommand request,
        final long timeoutMillis)
        throws InterruptedException, RemotingSendRequestException, RemotingTimeoutException {
        final int opaque = request.getOpaque();

        try {
            final ResponseFuture responseFuture = new ResponseFuture(channel, opaque, timeoutMillis, null, null);
            this.responseTable.put(opaque, responseFuture);
            final SocketAddress addr = channel.remoteAddress();
            channel.writeAndFlush(request).addListener(new ChannelFutureListener() {
                @Override
                public void operationComplete(ChannelFuture f) throws Exception {
                    if (f.isSuccess()) {
                        responseFuture.setSendRequestOK(true);
                        return;
                    } else {
                        responseFuture.setSendRequestOK(false);
                    }

                    responseTable.remove(opaque);
                    responseFuture.setCause(f.cause());
                    // 这里!!!
                    responseFuture.putResponse(null);
                    log.warn("send a request command to channel <" + addr + "> failed.");
                }
            });

			// 这里重要!!!
            RemotingCommand responseCommand = responseFuture.waitResponse(timeoutMillis);
            if (null == responseCommand) {
                if (responseFuture.isSendRequestOK()) {
                    throw new RemotingTimeoutException(RemotingHelper.parseSocketAddressAddr(addr), timeoutMillis,
                        responseFuture.getCause());
                } else {
                    throw new RemotingSendRequestException(RemotingHelper.parseSocketAddressAddr(addr), responseFuture.getCause());
                }
            }

            return responseCommand;
        } finally {
            this.responseTable.remove(opaque);
        }
    }

在每次发送同步请求后，程序会执行 waitResponse()方法，直到 Netty接收 Broker的返回结果

public RemotingCommand waitResponse(final long timeoutMillis) throws InterruptedException {
        this.countDownLatch.await(timeoutMillis, TimeUnit.MILLISECONDS);
        return this.responseCommand;
    }

然后，通过putResponse()方法释放锁，让请求线程同步返回

异步发送时有很多request，每个response返回后如何与request进行对应？

关键参数——opaque，RocketMQ每次发送同步请求前都会为一个request 分配一个opaque，这是一个原子自增的id，一个response会以opaque作为key保存在responseTable中，这样用opaque就将request和response连接起来了

发送消息实践

发送顺序消息

同步发送消息时，根据HashKey 将消息发送到指定的分区中，每个分区中的消息都是按照发送顺序保存的，即分区有序
如果 Topic 的分区被设置为 1，这个 Topic 的消息就是全局有序的
注意，顺序消息的发送必须是单线程，多线程将不再有序

发送延迟消息

生产者发送消息后，消费者在指定时间才能消费消息，这类消息被称为延迟消息或定时消息
生产者发送延迟消息前需要设置延迟级别，目前开源版本支持18个延迟级别
Broker在接收用户发送的消息后，首先将消息保存到名为SCHEDULE_TOPIC_XXXX的Topic中
此时，消费者无法消费该延迟消息
然后，由Broker端的定时投递任务定时投递给消费者。
保存延迟消息的实现逻辑见org.apache.rocketmq.store.schedule.ScheduleMessageService 类
按照配置的延迟级别初始化多个任务，每秒执行一次
如果消息投递满足时间条件，那么将消息投递到原始的Topic中
消费者此时可以消费该延迟消息

发送事务消息

事务消息的发送、消费流程和延迟消息类似，都是先发送到对消费者不可见的 Topic中
当事务消息被生产者提交后，会被二次投递到原始Topic中，此时消费者正常消费
事务消息的发送具体分为以下两个步骤

用户发送一个Half消息到 Broker，Broker设置 queueOffset=0，即对消费者不可见
用户本地事务处理成功，发送一个 Commit 消息到 Broker，Broker 修改queueOffset为正常值，达到重新投递的目的，此时消费者可以正常消费；如果本地事务处理失败，那么将发送一个Rollback消息给Broker，Broker将删除Half消息

rocketmq java mysql教程 rocketmq流程_RocketMQ_02