redis集群 —— 高性能

发布时间:2024年01月24日

前言

Redis集群是Redis提供的分布式数据库方案,集群通过分片(sharding)来进行数据共享,并提供复制和故障转移功能。

本节将对集群的节点、槽指派、命令执行、重新分片、转向、故障转移、消息等各个方面进行介绍。

数据分片,每一个分片存在一个节点上,每个节点有一主多从,保证高可用。

节点

一个Redis集群通常由**多个节点(node)**组成,在刚开始的时候, 每个节点都是相互独立的,它们都处于一个只包含自己的集群当中,要组建一个真正可工作的集群,我们必须将各个独立的节点连接起来,构成一个包含多个节点的集群。
连接各个节点的工作可以使用CLUSTER MEET命令来完成,该命令的格式如下:

CLUSTER MEET <ip> <port>

向一个节点node发送CLUSTER MEET命令,可以让node节点与ip和port所指向的节点进行握手(handshake),当握手成功时,node节点就会将ip和port所指定的节点添加到node节点当前所在的集群中。

1.1 启动节点

一个节点就是一个运行在集群模式下的Redis服务器,Redis服务器 在启动时会根据cluster-enabled配置选项是否为yes来决定是否开启服务 器的集群模式,如图
在这里插入图片描述
节点(运行在集群模式下的Redis服务器)会继续使用所有在单机 模式中使用的服务器组件,比如说:

  • 节点会继续使用文件事件处理器来处理命令请求和返回命令回复。
  • 节点会继续使用时间事件处理器来执行serverCron函数,而 serverCron函数又会调用集群模式特有的clusterCron函数。clusterCron函 数负责执行在集群模式下需要执行的常规操作,例如向集群中的其他节 点发送Gossip消息,检查节点是否断线,或者检查是否需要对下线节点 进行自动故障转移等。
  • 节点会继续使用数据库来保存键值对数据,键值对依然会是各种 不同类型的对象。
  • 节点会继续使用RDB持久化模块和AOF持久化模块来执行持久化 工作。
  • 节点会继续使用发布与订阅模块来执行PUBLISH、SUBSCRIBE等 命令。
  • 节点会继续使用复制模块来进行节点的复制工作。
  • 节点会继续使用Lua脚本环境来执行客户端输入的Lua脚本。

除此之外,节点会继续使用redisServer结构来保存服务器的状态,使用redisClient结构来保存客户端的状态,至于那些只有在集群模式下才会用到的数据,节点将它们保存到了cluster.h/clusterNode结构、 cluster.h/clusterLink结构,以cluster.h/clusterState结构里面

槽指派

Redis集群通过分片的方式来保存数据库中的键值对:集群的整个数据库被分为16384个槽(slot),数据库中的每个键都属于这16384个 槽的其中一个,集群中的每个节点可以处理0个或最多16384个槽。

当数据库中的16384个槽都有节点在处理时,集群处于上线状态 (ok);相反地,如果数据库中有任何一个槽没有得到处理,那么集群 处于下线状态(fail)。

2.1 记录节点的槽指派信息

clusterNode结构的slots属性和numslot属性记录了节点负责处理哪些槽:
结构
slots属性是一个二进制数据(bit array),这个数组的长度为16384/8=2048个字节,共包含16384个二进制位。
Redis以0为起始索引,16384为终止索引,对slots数组中的16384个二进制进行编号,并根据索引i上的二进制位来判断节点是否负责处理槽i:

  • 如果slots数组在索引i上的二进制位的值为1,那么表示节点负责处理
  • 如果slots数组在索引i上的二进制位的值为0,那么表示不负责处理

2.2 传播节点的槽指派信息

各个节点会通知其他节点本节点的槽指派信息,最终达到所有的节点都知道所有的槽指派信息。

2.3 记录集群所有槽的指派信息

clusterState结构中的slots数组记录了集群中所有的16384个槽的指派信息:
结构
slots数组包含16384个项,每个数组项都是一个指向clusterNode结构的指针:

  • 如果slots[i]指针指向null,那么表示槽i尚未指派给任何节点
  • 如果slots[i]指针指向一个clusterNode结构,那么表示槽i已经指派给了clusterNode结构所代表的节点。

在集群中执行命令

3.1 计算键属于哪个槽

def slot_number(key):
	return CRC16(key) & 16384

其中CRC16(key) 语句用于计算键key的CRC-16校验和,而&16384则用于计算出一个介于0到16384之间的整数作为键key的槽号。

3.3 节点数据库的实现

集群节点保存键值对以及键值对过期时间的方式,与第9章里面介 绍的单机Redis服务器保存键值对以及键值对过期时间的方式完全相同。

节点和单机服务器在数据库方面的一个区别是,节点只能使用0号数据库,而单机Redis服务器则没有这一限制。

另外除了将键值对保存在数据库里面之外,节点还会用 clusterState结构中的slots_to_keys跳跃表来保存槽和键之间的关系:

slots_to_keys跳跃表每个节点的分值(score)都是一个槽号,而每个节点的成员(member)都是一个数据库键:

  • 每当节点往数据库中添加一个新的键值对时,节点就会将这个键以及键的槽号关联到slots_to_keys跳跃表。
  • 当节点删除数据库中的某个键值对时,节点就会在slots_to_keys跳跃表解除被删除键与槽号的关联。

通过在slots_to_keys跳跃表中记录各个数据库键所属的槽,节点可 以很方便地对属于某个或某些槽的所有数据库键进行批量操作,例如命 令CLUSTER GETKEYSINSLOT <slot> <count>命令可以返回最多count个 属于槽slot的数据库键,而这个命令就是通过遍历slots_to_keys跳跃表来 实现的。

重新分片

Redis集群的重新分片操作可以将任意数量已经指派给某个节点 (源节点)的槽改为指派给另一个节点(目标节点),并且相关槽所属的键值对也会从源节点被移动到目标节点。

重新分片操作可以在线(online)进行,在重新分片的过程中,集群不需要下线,并且源节点和目标节点都可以继续处理命令请求。

操作步骤:
1)redis-trib对目标节点发送CLUSTER SETSLOT <slot> IMPORTING <source_ id>命令,让目标节点准备好从源节点导入(import)属于槽slot的键值对。

2)redis-trib对源节点发送CLUSTER SETSLOT <sIot> MIGRATING <target id>命令,让源节点准备好将属于槽slot的键值对迁移(migrate)至目标节点。

3)redis-trib向源节点发送CLUSTERGETKEYSINSLOT <slot> <count>命令,获得最多count个属于槽slot的键值对的键名(key
name)

4)对于步骤3获得的每个键名,redis-tib都向源节点发送一个 MIGRATE <target_ ip> <starget_ port> <key name> 0<timeout>命令,将被选中的键原子地从源节点迁移至目标节点。

5) 重复执行步骤3和步骤4,直到源节点保存的所有属于槽slot的键值对都被迁移至目标节点为止。

6)redis-trib向集群中的任意一个节点发送CLUSTER SETSLOT <slot> NODE <target id>命令,将槽slot指派给目标节点,这一
指派信息会通过消息发送至整个集群,最终集群中的所有节点都会知道槽slot已经指派给了目标节点。

复制与故障转移

复制与故障迁移都类似于Sentinel的复制与故障迁移

都是采用Raft算法

文章来源:https://blog.csdn.net/flyingmylife/article/details/135821226
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。