面试题之RocketMq

发布时间:2024年01月24日

1. RocketMq的组成及各自的作用?

在这里插入图片描述

  • 在RocketMq中有四个部分组成,分别是Producer,Consumer,Broker,以及NameServer,类比于生活中的邮局,分别是发信者,收信者,负责暂存,传输的邮局,以及协调各个地方邮局的管理机构。

  • NameServer
    主要是 Topic 和 Broker 注册中心,支持 Broker 动态注册和发现,主要保存 Topic的路由信息和Broker的状态信息。通常也是集群部署,但是各 NameServer 之间不会互相通信, 各 NameServer 都有完整的路由信息,即无状态(跟zk的区别是,zk为有状态的)。

  • Broker
    就是MQ本身,负责收发消息、持久化消息,每个broker负责管理一部分topic的消息;主要分为 Master Broker 和 Slave Broker,一个 Master Broker 可以对应多个 Slave Broker,但是一个 Slave Broker 只能对应一个 Master Broker。Master与Slave的对应关系通过指定相同的BrokerName,不同的BrokerId来定义,BrokerId为0表示Master,非0表示Slave。Master也可以部署多个。每个Broker与Name Server集群中的所有节点建立长连接,定时注册Topic信息到所有Name Server。Broker 启动后需要完成一次将自己注册至 Name Server 的操作。

  • Producer:消息生产者
    可以集群部署。它会先和 NameServer 集群中的随机一台建立长连接,得知当前要发送的 Topic 存在哪台 Broker Master上,然后再与其建立长连接,支持多种负载平衡模式发送消息。

  • Consumer:消息消费者
    可以集群部署。它也会先和 NameServer 集群中的随机一台建立长连接,得知当前要消息的 Topic 存在哪台 Broker Master、Slave上,然后它们建立长连接,支持集群消费和广播消费消息。

  • Topic:
    标识一类消息的逻辑名字,消息的逻辑管理单位。无论消息是生产还是消费都需要指定Topic;比如电商系统可以分为:交易消息、物流消息,每条消息都必须有一个topic,一个类型的消息可以定义一个topic,也可以定义多个,根据业务需求来定;

  • Tag:
    可以看作子主题,它是消息的第二级类型,同一业务模块不同目的的消息就可以用相同 Topic 而不同的 Tag 来标识。比如交易消息又可以分为:交易创建消息、交易完成消息等,一条消息可以没有 Tag ;虽然同一个topic的管理逻辑一样,但是消费topic1的时候,如果你订阅指定的是tagA,那么tagB的消息不会投递。

  • Group
    分组,一个组可以订阅多个Topic,代表某一类的生产者和消费者,一般来说同一个服务可以做为Group,同一个Group一般来说发送和消费的消息都是一样的。

  • Queue
    队列其实就是对Topic的分片,在Kafka里面就是Partition。将Topic分片再切分为若干等分,其中的一份就是一个Queue。每个Topic分片等分的Queue的数量可以不同,由用户在创建Topic时指定。这些队列会被RocketMQ均衡的分布在不同Broker上,Producer在发送消息时会根据一定策略选择一个消息队列进行发送,这样就可以实现负载均衡和提高吞吐的效果。

  • Offset
    偏移,本质上有两种Offset,一种是写入时末尾的Offset,另一种是同一消费组读的Offset。RocketMq消息内容是分片存储,CommitLog 的大小默认是1G,当超过大小限制的时候需要准备新的文件,CommitLog 采用混合型存储,也就是所有 Topic 都存在一起,顺序追加写入,文件名用起始偏移量命名。其次RocketMq还存储了消息体与偏移的关系,用于快速随机读取和检索。

2. 为什么使用消息队列?

最开始的时候业务量小,直接单机能解决,后来业务量大,采用微服务的设计思想,分布式部署的方式,拆出了很多服务,场景也就越来越复杂,所以引用了消息队列。

3. 为什么要用RocketMq?

削峰:在高并发场景下,系统的请求量可能会瞬间增加,给服务器带来巨大的压力。通过使用消息队列,可以将突发的大量请求进行缓冲和削峰,使其平滑地处理,从而避免服务器过载和崩溃;
异步:如果下单流程涉及多个系统,影响支付时间,所以支付同时完成其他工作去校验;在这里插入图片描述
解耦:可以将系统的各个模块解耦,减少模块之间的直接依赖。这样可以使各个模块独立地进行开发和部署,提高系统的可扩展性和灵活性。同时,解耦也可以降低系统间的耦合度,提高系统的可维护性和稳定性;

限流:通过控制消息的生产者和消费者的速度,可以限制系统的流量,防止过多的请求对服务器造成过大的压力。

4. RocketMq的优点?

  • 单机吞吐量:十万级别;
  • 可用性:分布式架构,可用性强;
  • 消息可靠性:MQ的功能较为完善,还是分布式的扩展性好;
  • 支持10亿级别的消息堆积,不会因为堆积的性能下降;
  • Java源码,可二次开发;
  • 适用于可靠性要求要求高的场景;
  • 稳定性搞,经过阿里系统的考验;

5. RocketMq的缺点?

  • 支持语言不多:Java和C++(不成熟);
  • 移植复杂:没有引入JMS等接口,系统迁移需要改大量代码;
  • 系统可用性降低 :系统引入的外部依赖越多,越容易挂掉。万一 MQ 挂了,MQ 一挂,整套系统崩 溃,你不就完了?
  • 系统复杂度提高 :硬生生加个 MQ 进来,你怎么保证消息没有重复消费?怎么处理消息丢失的情况? 怎么保证消息传递的顺序性?问题一大堆。
  • 一致性问题 :A 系统处理完了直接返回成功了,人都以为你这个请求就成功了;但是问题是,要是 BCD 三个系统那里,BD 两个系统写库成功了,结果 C 系统写库失败了,咋整?你这数据就不一致 了。

6. RocketMq的顺序消费?

不能保证全局顺序消费,只能保证单个queue里的顺序,queue是典型的FIFO;

7. RocketMq的重复消费以及怎么解决?

影响重复消费的主要原因是网络原如下:

  • 生产者没有接受到消费者的结果;
  • 消费成功没有返回ack;
  • 消费成功但是宕机了;

解决办法:

RocketMQ重复消费的问题可以通过以下几种方式解决:

  • 分布式锁:在生产环境中,通常都是多元jvm集群环境,当RocketMQ系统投递重复消息时,可能会造成数据库重复消费。此时可以采用分布式锁,通过zookeeper和redis搭建,解决消息重复的甄别问题。
  • 数据库约束+java异常处理机制:首先需要针对数据库简历约束,不允许产生重复数据,然后再使用java的异常处理机制来规避重复消息。
  • 幂等性处理:消费者端要自己保证消费的幂等性,例如消费者收到消息后,从消息中获取消息标识写入到Redis或数据库,当再次收到该消息时就不作处理。
  • 负载均衡阶段重复听或漏听的问题:微众银行在负载均衡结果变化过程增加了一个过渡态,在过渡态的时候,Consumer会继续保留上一次负载均衡的结果,直到原消费者拉取的消息全部ack,才释放老的结果。改造的实现是在RocketMQ的Broker端增加了一个ConsumeQueueAccessLockManager类,对Queue加了锁。

8. RocketMq的消息丢失

Producer端
利用自带的事务处理机制,发送half信息,如果正常就处理,不正常就回滚;
Broker端

  • 没来得及持久化,由异步刷盘改为同步刷盘;
  • 集群部署,主从模式,高可用;
    Consumer端
  • 消费完成后,手动确认ack;

9. RocketMq的消费失败

  • 默认重试16次(会导致重复消费的问题),否则会进入死信队列;
  • 死信解决办法:让mq重新发消息,然后消费消息,看问题所在;
  • 死信队列三天后会自动删除,查看死信队列可视化工具-rocket mq console

10. RocketMq的消息堆积

  • consumer端增加消费者,扩容;
  • 熔断隔离:一个Broker积压将其熔断隔离,发送其他队列
  • broker:扩容
  • producer:限流

11. RocketMq的延时消息

-发送消息不会被及时消费,比如关闭超时未支付订单,下单30分钟后支付启动定时,隔几秒去扫描待支付的订单

12. RocketMq Broker 中的消息被消费后会立即删除么?那么消息会堆积么?

  • 不会,每条消息都会持久化到commitLog中,每个Consumer连接到Broker后会维持消费进度信息,当有消息消费后只是当前Consumer的消费进度(commitLog的offset)更新了;
  • 默认72小时后会删除不再使用的Commitlog文件;

13. RocketMq什么时候清理过期消息?

  • 消息文件过期(默认72小时)且到达清理时间点(默认是凌晨4点)后,会自动清理过期文件。
  • 消息文件过期(默认72小时)且磁盘空间占用率已达过期清理警戒线(默认75%)后,无论是否达到清理时间点,都会自动清理过期文件。
  • 磁盘占用率达到清理警戒线(默认85%)后,开始按照设定好的规则清理文件,无论是否过期。

14. RocketMq消费模式有几种?

消费模型由Consummer决定,消费维度为topic

集群消费:默认的模式

  • 一条消息只会被同Group中的一个Consumer消费;
  • 多个Group同时消费一个Topic时,每个Group都会有一个Consumer消费到数据;
  • 根据队列分配策略算法,每个Consumer实例只会消费自己队列上的数据,消费完的消息不会被其他实例消费。这种模式适用于大部分消息业务,能够提高系统的稳定性和可用性

广播消费:同Topic下的消息会被多个实例共同消费。也就是说,如果一个Topic下有多个Consumer实例,那么每个消息会被所有的Consumer实例消费一次。这种模式适用于一些分发消息的场景,例如将消息同时发送给多个消费者进行处理。

15. RocketMq消息消费是push还是pull?

没有真正意义的push,都是pull,虽然有push类,但是实际底层是长轮训机制,即拉取方式;

16. RocketMq为什么是主动拉取而不是监听的方式?

  • 事件驱动方式是建立好长连接,由事件(发送数据)的方式来实时推送。
  • 如果 broker 主动推送消息的话有可能 push 速度快,消费速度慢的情况,那么就会造成消息在 consumer 端堆积过多,同时又不能被其他 consumer 消费的情况。
  • 而 pul 的方式可以根据当前自身情况来 pull,不会造成过多的压力而造成瓶颈。所以采取了 pull 的方式。

17. RocketMq Broker是如何拉取请求的?

RocketMQ的Broker在处理拉取请求时,会根据负载均衡策略选择一个负责处理该请求的Consumer实例。Broker将消息队列中存储的消息按照提交偏移量的顺序发送给Consumer实例。Consumer实例接收到消息后,会根据消费策略对消息进行处理,并将处理结果返回给Broker。Broker收到Consumer的处理结果后,会更新消息的消费状态,以便下次拉取时能够正确地发送。

18. RocketMq是如何做到负载均衡的?

Producer端:发送端指定message queue发送消息到相应的broker,来达到写入时的负载均衡。同时,Producer还支持开启隔离机制,通过判断Broker是否被隔离以及是否是上一次选择的那个Broker,来避免将消息发送到不可用的Broker上。
Consumer端:默认情况下,Consumer会根据队列的平均值进行负载均衡,即将所有队列的平均值作为Broker的负载均衡值。如果某个Broker的负载均衡值高于其他Broker,那么Consumer会优先选择该Broker进行拉取请求。如果多个Broker的负载均衡值相同,则会根据优先级选择。

其他负载均衡算法:

  • 环形分配策略
  • 手动配置分配策略
  • 机房分配策略
  • 一致性哈希分配策略
  • 靠近机房策略

19. 当RocketMq的负载均衡consumer和queue不对等的时候会发生什么?

  • 如果consumer<queue的个数,会存在部分consumer消费多个queue的情况;
  • 如果consumer=queue的个数,一个consumer消费一个queue;
  • 如果consumer>queue的个数,部分consummer空余,会浪费。

20. RocketMq如何保证数据的高容错性?

  • 首先,RocketMQ采用消息持久化机制,将消息持久化到磁盘上,并通过刷盘机制保证数据不丢失。
  • 同时,RocketMQ还提供同步刷盘和异步刷盘两种方式,以满足不同场景的需求。
  • 其次,RocketMQ采用主从复制的方式来提高系统的可用性。对于每个队列,RocketMQ会为其创建一个主节点和多个从节点。主节点负责消息的写入,从节点负责消息的复制和读取。当主节点出现故障时,从节点会接替主节点的工作,确保消息的正常处理。
  • 此外,RocketMQ还具备故障恢复的能力。当RocketMQ服务端发生故障或宕机时,可以通过重启服务端来恢复。重启服务端后,RocketMQ会自动从上次的快照中恢复未被消费的消息,并继续处理后续消息。
  • 同时,RocketMQ还支持消息的重试机制。当消息发送失败时,RocketMQ会根据预设的重试次数和时间间隔进行消息的重试,直到消息发送成功或达到最大重试次数。这样可以保证消息的可靠传输,提高系统的容错性。
  • 最后,RocketMQ还通常使用自动的降级熔断策略,当性能达到阈值时就会自动开启。
  • 此外还会设置一个手动的降级开关,来人工开启降级流程。这样可以保证在面对故障或性能问题时,RocketMQ能够自动或手动地进行降级处理,保障服务的可用性和稳定性。

21. RocketMq任何一台Broker突然宕机了怎么办?

  • RocketMQ的Broker采用主从架构和多副本策略来解决Broker突然宕机的问题。具体来说,Master收到消息后会同步给Slave,这样一条消息就不止一份了,Master宕机了还有Slave中的消息可用,保证了MQ的可靠性和高可用性。

  • 如果Broker宕机,NameServer会感知到。Broker会定时向NameServer发送心跳,然后NameServer会定时运行一个任务,去检查一下各个Broker的最近一次心跳时间。如果某个Broker超过120s都没发送心跳了,那么就认为这个Broker已经挂掉了。

22. RocketMq的Broker会把信息注册到哪个NameServer上?

Broker启动的时候会向所有的NameServer节点进行注册,注意这里是向集群中所有的NameServer节点注册,而不是只向其中的某些节点注册,因为NameServer每个节点都是对等的,所以Broker需要向每一个节点进行注册,这样每一个节点都会有一份Broker的注册信息。

23. RocketMq的自动伸缩扩容的机制是什么?

  • RocketMQ的自动伸缩扩容机制主要基于Broker的负载情况。当Broker的负载过高时,会自动触发扩容操作,增加新的Broker实例来分担负载。扩容过程不需要人工干预,系统会自动完成。同时,当流量回归正常后,为了防止资源的浪费,可以自动缩容,将一些不必要的Broker实例移除。

  • 此外,RocketMQ还支持消息队列的动态扩容和缩容。在Topic的消息量特别大时,可以通过增加消息队列的数量来提高系统的处理能力。相反,如果消息队列的数量过多,也可以适当减少,以节约系统资源。

  • RocketMQ的自动伸缩扩容机制可以有效地提高系统的可用性和稳定性,同时避免了资源的浪费。在实际应用中,需要根据具体的需求和场景进行配置和调整,以达到最佳的效果。

24. RocketMq与Kafka的区别?

  • R支持定时重试,K消费失败不支持;
  • 都支持顺序消费,但是K宕机,消息乱序;
  • R支持定时消息、分布式消息、消息查询,K都不支持
  • R编写用Java,K用scale
  • R定位于非日志可靠消息传输,K主要定位于日志传输
  • R支持异步/同步刷盘,K支持异步实时刷盘

25. 让你手动来实现一个分布式消息中间件,整体架构你会如何设计?

设计一个分布式消息中间件需要考虑多个方面,包括消息的可靠性、一致性、性能、扩展性、容错性等。以下是一个可能的整体架构设计:

  • 消息队列服务(Message Queue Service):这是整个分布式消息中间件的核心,负责接收、存储和转发消息。它可以由多个节点组成,以实现高可用性和可扩展性。
  • 节点管理服务(Node Management Service):负责管理消息队列服务的节点,包括节点的添加、删除、监控等。它需要保证在节点故障时能够及时地发现并处理,以保证系统的稳定性和可用性。
  • 客户端代理服务(Client Proxy Service):提供给客户端使用的代理服务,负责与消息队列服务进行交互。客户端通过这个服务来发送和接收消息,而不需要直接与消息队列服务的节点进行通信。这样可以减少客户端与服务器之间的网络开销,提高系统的性能和稳定性。
  • 监控与日志服务(Monitoring and Logging Service):负责收集、处理和存储消息队列服务的运行状态和日志信息。通过这个服务,可以实时监控系统的运行状态,及时发现和处理问题,保证系统的稳定性和可靠性。
  • 配置管理服务(Configuration Management Service):负责管理消息队列服务的配置信息,包括节点配置、队列配置、订阅关系配置等。通过这个服务,可以方便地修改和配置消息队列服务的各项参数,以满足不同的业务需求。
  • 安全与认证服务(Security and Authentication Service):负责提供安全和认证功能,包括用户身份验证、访问控制、加密解密等。通过这个服务,可以保证消息的安全性和隐私性,防止敏感信息的泄露和未经授权的访问。
文章来源:https://blog.csdn.net/HC_MM/article/details/135752994
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。