RabbitMQ集群搭建

发布时间:2023年12月17日

介绍

RabbitMQ 是一个开源的消息代理软件,实现了高级消息队列协议(AMQP,Advanced Message Queuing Protocol)。它充当了消息的中间件,用于在分布式系统中传递消息,提供了可靠的、异步的、跨应用程序的消息传递机制。

RabbitMQ 的主要特点和用途:

  • 消息队列: RabbitMQ 作为消息队列(Message Queue)的一种实现,允许应用程序之间通过消息进行通信。消息队列可以解耦发送者和接收者,使得它们可以独立地演进和扩展。

  • 解耦应用组件: 通过在系统的不同部分之间引入消息队列,可以实现应用组件的解耦。这意味着系统的不同部分可以独立开发、部署和扩展,而不必知道其他部分的实现细节。

  • 异步通信: RabbitMQ 支持异步消息传递,允许发送者发送消息后立即继续执行,而不必等待接收者的响应。这有助于提高系统的并发性和响应性。

  • 可靠性: RabbitMQ 提供了消息持久性选项,确保即使在代理重启后,也不会丢失已经发送的消息。这对于关键的业务消息和任务很重要。

  • 灵活的消息路由: RabbitMQ 提供了灵活的消息路由和交换机(Exchange)的机制。通过不同类型的交换机和路由规则,可以实现多样化的消息路由策略。

  • 工作队列: RabbitMQ 可以用作工作队列,允许任务的异步执行。生产者将任务放入队列,而工作者则从队列中取出任务并处理。这对于分布式任务处理和负载均衡非常有用。

  • 发布/订阅模式: RabbitMQ 支持发布/订阅模式,允许多个消费者订阅同一队列,并接收相同的消息。这在实现广播和通知系统时很有用。

  • 可扩展性: RabbitMQ 支持水平扩展,可以通过添加更多的节点来提高消息代理的处理能力。这有助于应对不断增长的负载。

  • 社区支持和丰富文档: RabbitMQ 是一个开源项目,拥有庞大的社区支持和丰富的文档资源,使得使用和集成 RabbitMQ 相对容易。

集群模式

RabbitMQ 支持不同类型的集群模式,以确保高可用性和水平扩展。以下是 RabbitMQ 中常见的集群模式:

  • 镜像队列集群(Queue Mirroring Cluster): 这是 RabbitMQ 中最常见的集群模式。在这种模式下,队列的所有消息都会在集群中的多个节点上进行复制(镜像)。每个队列的复制体称为队列的镜像。如果一个节点失效,仍然可以从其他节点获取相同队列的消息。这提高了队列的可用性和可靠性。

  • 所有者模式(Quorum Queues Cluster): 在 RabbitMQ 3.8 版本及更高版本中引入了 Quorum Queues,这是一种基于 Raft 协议的新队列类型。Quorum Queues 提供更强的数据一致性和容错性,它们的数据存储在多个节点上。Quorum Queues 的集群模式称为所有者模式。在这种模式下,队列的所有者(leader)负责处理消息的写入和复制,而其他节点则充当跟随者(followers),复制队列的数据。

  • 基于发布/订阅的集群模式(Publisher-Subscriber Cluster): RabbitMQ 也支持发布/订阅模式的集群,其中交换机和队列的绑定关系会在所有集群节点之间共享。这样,无论消息生产者连接到哪个节点,消息都能够正确地发布到相应的队列。这种模式可以用于构建分布式的发布/订阅系统。

专业术语

ConnectionFactory(连接管理器):应用程序与Rabbit之间建立tcp连接的管理器,程序代码中使用;
Channel(信道):消息推送使用的通道;
Exchange(交换器):用于接受、分配消息;
Queue(队列):用于存储生产者的消息;类似存放商品的仓库和商店。是生产商品的工厂和购买商品的用户之间的中转站。
Broker:简单来说就是消息队列服务器实体
vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离.
producer:消息生产者,就是投递消息的程序。
consumer:消息消费者,就是接受消息的程序。
user:用户
Binding: exchange 与 queue 之间的虚拟链接,binding 中可以包含 routing key。binding 信息被保存到 exchange 的查询表中,用于消息的分发。

VB.Net

Copy

节点类型

磁盘节点(Disk Node): 磁盘节点是 RabbitMQ 集群中的普通节点,它负责存储消息和元数据,以确保消息的持久性。磁盘节点会将消息写入磁盘,以便在节点重启后仍然可以访问。大多数节点都是磁盘节点,尤其是那些处理关键业务消息的节点。

内存节点(Memory Node): 内存节点是一种轻量级的节点类型,它主要用于缓存消息,而不将它们写入磁盘。内存节点对于处理大量短暂消息的情况非常有用,因为它们能够更快地处理消息。然而,内存节点不能保证消息的持久性,因此在节点重启后可能会丢失消息。

镜像节点(Mirrored Node): 镜像节点是 RabbitMQ 集群中的节点,它主要用于存储队列的镜像副本。镜像节点在集群中的其他节点上维护队列的镜像,以提供消息的冗余存储。这有助于提高队列的可用性和可靠性。

所有者节点(Quorum Queues Owner Node): 在 RabbitMQ 3.8 版本及更高版本中引入的 Quorum Queues 中,引入了所有者节点的概念。所有者节点负责处理队列的写入和复制,而其他节点充当跟随者(followers),负责复制队列的数据。这种节点类型用于 Quorum Queues 集群模式。

搭建集群

192.168.50.138 	rabbitmq-1
192.168.50.139	rabbitmq-2
192.168.50.140	rabbitmq-3

下载

wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.10/rabbitmq-server-3.7.10-1.el7.noarch.rpm

下载erlang

wget https://cloud.7boe.top/d/HKOSS/%E8%BD%AF%E4%BB%B6%E5%8C%85/RabbitMQ/erlang-21.3.8.21-1.el7.x86_64.rpm

开启web管理页面

rabbitmq-plugins enable rabbitmq_management

创建用户并且授权

rabbitmqctl add_user wang passwd
rabbitmqctl set_user_tags wang administrator

列出用户

rabbitmqctl list_users

给权限

rabbitmqctl set_permissions -p "/" wang ".*" ".*" ".*"

拷贝

cp /usr/share/doc/rabbitmq-server-3.7.5/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config

修改配置文件

61 {lookback_users,[]}

重启

systemctl restart rabbitmq-server

常用端口

4369 -- erlang端口
5672 --程序连接端口
15672 -- 管理界面ui端口
25672 -- server间内部通信口

创建数据目录

mkdir -p /data/rabbitmq/data
mkdir -p /data/rabbitmq/logs
chmod 777 -R /data/rabbitmq
chmod 777 -R /data/rabbitmq/logs
chown rabbitmq.rabbitmq /data/ -R

新写一个env变量配置文件

vim /etc/rabbitmq/rabbitmq-env.conf
RABBITMQ_MNESIA_BASE=/data/rabbitmq/data
RABBITMQ_LOG_BASE=/data/rabbitmq/logs

其他两台机器要拷贝cookie

scp root@10.31.162.200:/var/lib/rabbitmq/.erlang.cookie /var/lib/rabbitmq/

加入集群的机器要关闭 被加入的master要开启

rabbitmqctl stop_app
chmod 400 .erlang.cookie
chown rabbitmq.rabbitmq .erlang.cookie
rabbitmqctl start_app

以内存加入,然后开启

rabbitmqctl join_cluster --ram rabbit@rabbitmq-1
rabbitmqctl start_app

加入方式

(1)默认rabbitmq启动后是磁盘节点,在这个cluster命令下,mq-2和mq-3是内存节点,
mq-1是磁盘节点。
(2)如果要使mq-2、mq-3都是磁盘节点,去掉--ram参数即可。
(3)如果想要更改节点类型,可以使?命令rabbitmqctl change_cluster_node_type
disc(ram),前提是必须停掉rabbit应?

集群状态

rabbitmqctl cluster_status

页面查看

http://192.168.50.138:15672

镜像集群

一条命令即可

rabbitmqctl set_policy  ha-all "^" '{"ha-mode":"all"}'

设置策略

rabbitmqctl set_policy [-p Vhost] Name Pattern Definition
-p Vhost: 可选参数,针对指定vhost下的queue进行设置
Name: policy的名称,可以定义
Pattern: queue的匹配模式(正则表达式),也就是说会匹配一组。
Definition:镜像定义,包括ha-mode,ha-params,ha-sync-mode
    ha-mode:指明镜像队列的模式
        all:表示在集群中所有的节点上进行镜像
        exactly:表示在指定个数的节点上进行镜像,节点的个数由ha-params指定
    ha-sync-mode:进行队列中消息的同步方式,有效值为automatic和manual
    ha-params:ha-mode模式需要用到的参数
文章来源:https://blog.csdn.net/weixin_52930030/article/details/135000181
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。