openEuler NFS多路径

简介

网络文件系统 (NFS) 是一种分布式文件系统协议，最初由 Sun Microsystems (Sun) 于 1984 年开发，允许NFS客户端上的用户通过计算机网络访问NFS服务端上文件。随着NFS服务广泛应用于金融、EDA、AI、容器等行业，对NFS的性能和可靠性提出了更高的诉求。传统NFS存在以下缺点：

• 单个主机上的单个挂载点只能通过一个客户端IP和一个服务端IP进行访问，在客户端和服务端之间存在多条物理链路时，无法发挥多条链路的性能。
• 由于单个挂载点单条链路的缺陷，单挂载点下的单条链路故障后，无法进行链路切换，导致主机业务中断。

NFS多路径的诞生主要解决上述传统NFS在使用过程中遇到的缺陷，提出单个挂载点下客户端和服务端之间建立多条链路，支持IO在多条链路中进行传输，进而提升单个挂载点性能，同时周期性检测链路状态信息，支持链路故障IO快速切换。

NFS多路径具有以下功能：

• NFSv3支持Round Robin链路选路算法，实现多条链路性能均衡。
• NFSv3和NFSv4支持链路故障快速切换，提升NFS可靠性。
• 提供链路选路算法注册接口，支持NFS服务端开发者自定义选路算法。
• 支持周期性链路可用性检测。
• 支持查看链路状态。

安装与部署

软件要求

• 操作系统：openEuler 23.03

硬件要求

• x86_64架构
• ARM架构

环境准备

• 安装openEuler系统，安装方法参考 《openEuler 23.03 安装指南》。

安装NFS多路径

# 插入NFS多路径KO。
[root@openEuler ~]# modprobe nfs_multipath

# 查看NFS多路径KO，回显中有nfs_multipath则表示安装成功。
[root@openEuler ~]# lsmod | grep nfs_multipath
nfs_multipath          36864  1
nfs                   544768  3 nfs_multipath,nfsv3
sunrpc                704512  30 nfs_multipath,lockd,nfsv3,nfs_acl,nfs

使用方法

使用多路径参数挂载

执行如下命令挂载多路径：

mount -t nfs -o localaddrs=1.1.1.1~2.2.2.2,remoteaddrs=1.1.1.10~2.2.2.10 1.1.1.10:/test /mnt/fs1

新增可选参数localaddrs和remoteaddrs用于指定多路径：

• localaddrs表示客户端IP地址；
• remoteaddrs表示服务端IP地址；
• IP地址支持网段或者多个IP地址，网段使用"-"，多个IP地址使用"~"。

例如：remoteaddrs=1.1.1.1-1.1.1.3表示指定3个服务端地址，分别为1.1.1.1, 1.1.1.2, 1.1.1.3； localaddrs=1.1.1.1~1.1.1.3表示指定2个客户端地址，分别为1.1.1.1, 1.1.1.3。

localaddrs和remoteaddrs均为可选参数，可指定其中的任意一个参数或者两个参数都指定，若都不指定，则未使能多路径功能。

多路径信息查询

1. 执行如下命令查询多路径信息。

# cat /proc/fs/nfs/mutipath/conn_info
===============================Id:4 count 5 proto 3 start========================
index:0, client_ip:1.1.1.1, server_ip:1.1.1.10, status:connect, load:3
index:1, client_ip:1.1.1.1, server_ip:1.1.1.11, status:connect, load:3
index:2, client_ip:1.1.1.1, server_ip:1.1.1.12, status:connect, load:3
index:3, client_ip:1.1.1.1, server_ip:1.1.1.13, status:disconnect, load:0
index:4, client_ip:1.1.1.1, server_ip:1.1.1.14, status:disconnect, load:0
=========================================Id:4 end================================

1. 回显信息解释。

• status表示该条链路连接状态，connect表示连接可用，disconnect表示连接不可用。
• load表示在该条链路上发送的NFS请求数量。

注意事项

• 客户端或者服务端IP地址最多支持8个IP地址，指定超过8个IP地址无法挂载。
• 最多支持8条多路径链路。

常见问题与解决方法

问题1：指定NFS多路径挂载失败，lsmod无法查询到多路径KO

报错信息：

1. 挂载时报错如下：

   mount.nfs: an incorrect mount option was specified
   

2. 执行lsmod | grep nfs_multipath无法查询到多路径KO。

可能原因：未安装NFS多路径。

解决方法：参考《安装与部署》章节安装NFS多路径。

问题2：指定NFS多路径挂载失败

报错信息：

1. 挂载时报错如下：

   mount.nfs: an incorrect mount option was specified
   

2. /var/log/messages日志报错如下：

   Mar 18 23:38:22 localhost kernel: [  635.016793] [MULTIPATH:nfs_multipath_parse_ip_range] iplist for remote reached 8, more than supported limit 8
   

可能原因：挂载时指定IP地址个数超过8个。

解决方法：NFS挂载时，指定IP地址个数小于等于8个。