在linux系统中配置NVMe over TCP

别来无恙 提交于 2019-11-28 15:37:58

1. 准备环境

1.1 准备linux系统

要求的linux系统可以是运行在物理机上,也可以是虚拟机上;

建议有个linux系统,一个做host,一个做target,如果资源紧张也可以把host和target运行在一个linux系统里;

要求linux系统的内核版本为linux-4.1之后的版本,早期版本不支持NVMe over TCP;作者实验时用的是linux-5.0.7版本。

为host主机端准备NQN相关名称(连接target时使用):

注意设置主机的NQN,可以手动指定,也可以命令产生(nvme gen-hostnqn命令产生也可以。要求编译nvme命令时定义LIBUUID才能使用此命令)。

示例如下截图:

1.2 准备硬盘

如果使用的是物理机,则需要准备一个或多个硬盘资源,如果使用的是虚拟机,则可以多添加几块盘;

对硬盘类型无要求,只要能够被linux系统所识别的,任何类型接口的硬盘都可以。

1.3 系统运行检查

登陆linux系统后,做如下检查:

  • 在target环境上,使用lsmod |grep nvme命令,查看nvmet内核模块和nvmet_tcp内核模块确保都已经被正常加载;
  • 在target环境上,使用ls /sys/kernel/config/命令确保此目录中已经有了nvmet目录;
  • 在host环境上,使用lsmod |grep nvme命令,查看nvme内核模块和nvme_core内核模块,确保都已经被正常加载;
  • 在host环境上,区别已经安装了可执行的nvme命令,可以使用nvme -h查看帮助。

作者实验时使用了一个虚拟机,既做host也做target,模块加载示例如下:

查看目录示例如下:

2. 在target环境上创建NVM subsys

进入/sys/kernel/config/nvmet/subsystems目录执行mkdir nqn.2014-08.org.nvmexpress.mytest命令

注意:nqn.2014-08.org.nvmexpress.mytest是新建NVM subsystem随便写的NQN名字,但实际应用时需要按规范定义。

3. 设置NVM subsystem允许访问的主机

进入/sys/kernel/config/nvmet/subsystems/nqn.2014-08.org.nvmexpress.mytest目录中操作。

本示例中,echo 1 > attr_allow_any_host 设置了允许所有主机访问:

4. 申请NSID

/sys/kernel/config/nvmet/subsystems/nqn.2014-08.org.nvmexpress.mytest/namespaces目录中操作。

直接使用准备申请的NSID作为目录名创建目录即可。

5. 向NSID上挂载存储设备

/sys/kernel/config/nvmet/subsystems/nqn.2014-08.org.nvmexpress.mytest/namespaces/1/目录中操作

在上一步以NSID为目录名创建目录中,能够看到device_path,这里就是用此路径让NSID关联上存储媒介。

echo /dev/sda2 > device_path

然后

echo 1 > enable

注意:例子中/dev/sda2是一个示例,请根据自己环境准备的块设备名来执行此命令。

6. 创建NVMe over TCP的Transport层

进入/sys/kernel/config/nvmet/ports目录进行操作。

mkdir 1234

进入/sys/kernel/config/nvmet/ports/1234/目录,此目录自动包含了如下内容

开始设置这些属性:

echo tcp > addr_trtype
echo ipv4 > addr_adrfam
echo 127.0.0.1 > addr_traddr
echo 4420 > addr_trsvcid
设置tcp链路相关的参数。
注意:由于实验室host和target使用了同一个linux系统,所以tcp服务地址使用了127.0.0.1,帧听端口号为4420。

7. 让Transport与NVM subsystem建立关联

进入/sys/kernel/config/nvmet/ports/1234/subsystems目录进行操作。
使用ln -s 把刚才创建的NVM subsystem在此目录中建立一个软连接。

注意:例子中软连接的名字tcpsubsys,实际是对应的前边创建的NVM subsystem。

如果都执行成功,此时使用netstat -ltnp命令就可以看到4420端口正在运行着帧听服务。

8. 使用host主机进行Discovery

在host端执行命令:

nvme discover -t tcp -a 127.0.0.1 -s 4420 -q nqn.xxx......

9. 连接

在host主机端执行命令

nvme connect -t tcp -a 127.0.0.1 -s 4420 -n nqn.2014-08.org.nvmexpress.mytest

连接成功后,执行nvme list就能看到NVMe over TCP相关的盘。

10. 其他操作

请参照nvme -h提供的帮助,可以进行其他操作了。

 

 
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!