TrueNAS SCALE开启iommu分组，PCIe直通，开启网卡SR-IOV|How to enable IOMMU and SR-IOV for PCI passthrough

博主： sagit
发布时间：2022 年 02 月 26 日
3903 次浏览
2 条评论
3336字数
分类： TrueNAS SCALE Linux

[ ](https://www.bilibili.com/video/BV1r34y1k7Hi/)

# 介绍

目前版本默认没有开启iommu分组，体现在一张多网口网卡不能只直通一个网口

SR-IOV 技术是一种基于硬件的虚拟化解决方案，可提高性能和可伸缩性。SR-IOV 标准允许在虚拟机之间高效共享 PCIe（Peripheral Component Interconnect Express，快速外设组件互连）设备，并且它是在硬件中实现的，可以获得能够与本机性能媲美的 I/O 性能

下面就教大家如何开启iommu分组和开启网卡的SR-IOV

# iommu开启

用ssh工具链接NAS

```
nano /usr/share/grub/default/grub
```

![image.png](https://www.truenasscale.com/usr/uploads/2022/02/3472748561.png)

在`GRUB_CMDLINE_LINUX_DEFAULT="quiet"`内加入
`intel_iommu=on`
`iommu=pt`
`pcie_acs_override=downstream`

按Ctrl +X 退出，Y 保存

最终为

```
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream"
```

如果是AMD的CPU，那就是

```
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pcie_acs_override=downstream"
```

然后更新一下

```
update-grub
```

重启生效，系统更新后失效（除非官方加入参数）

## 如果未生效

添加允许不安全的中断的配置

```
echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf
```

刷新内核

```
update-initramfs -u
```

重启一下验证

# 开启网卡SR-IOV

## 查询网卡是否支持SR-IOV

```
lspci -nn | grep Eth
```

![image.png](https://www.truenasscale.com/usr/uploads/2022/02/3845825964.png)

这里可以看到我的网卡和地址，下面查询万兆网卡（03:00.0 ）是否支持SR-IOV

```
lspci -s 03:00.0 -vvv | grep Capabilities
```

![image.png](https://www.truenasscale.com/usr/uploads/2022/02/2978685950.png)

可以看到最后面写了SR-IOV，那就是支持，没有写就是不支持

## 查询网卡最大虚拟设备数

```
cat /sys/bus/pci/devices/0000:设备ID/sriov_totalvfs
```

![image.png](https://www.truenasscale.com/usr/uploads/2022/02/2666931497.png)

如图我的这个网卡支持最大虚拟设备数为63

## 测试SR-IOV网卡生成

测试虚拟4个网口

```
echo 4 > /sys/class/net/enp3s0f1/device/sriov_numvfs
```

![image.png](https://www.truenasscale.com/usr/uploads/2022/02/3735693268.png)

enp3s0f1是系统里的网卡名，执行`ip addr`查看或者在webUI-网络查看

然后执行

```
lspci
```

查看是否成功
![image.png](https://www.truenasscale.com/usr/uploads/2022/02/3384211483.png)
如图成功了

## 注册系统服务，固定SR-IOV

首先创建启动脚本

```
cd /etc/systemd/system
```

```
vi sriov.service
```

也可以用finalshell编辑

```
[Unit]
Description=Script to enable SR-IOV on boot
 
[Service]
Type=simple
#start SR-IOV
ExecStartPre=/usr/bin/bash -c '/usr/bin/echo 4 > /sys/class/net/enp3s0f1/device/sriov_numvfs'
#set VF MAC
ExecStartPre=/usr/bin/bash -c '/usr/bin/ip link set dev enp3s0f1 vf 0 mac 86:24:72:8c:91:00'
ExecStartPre=/usr/bin/bash -c '/usr/bin/ip link set dev enp3s0f1 vf 1 mac 86:24:72:8c:91:01'
ExecStartPre=/usr/bin/bash -c '/usr/bin/ip link set dev enp3s0f1 vf 2 mac 86:24:72:8c:91:02'
ExecStartPre=/usr/bin/bash -c '/usr/bin/ip link set dev enp3s0f1 vf 3 mac 86:24:72:8c:91:03'
#set PF up
ExecStartPre=/usr/bin/bash -c '/usr/bin/ip link set enp3s0f1 up'
#set VF up
ExecStartPre=/usr/bin/bash -c '/usr/bin/ip link set enp3s0f1v0 up'
ExecStartPre=/usr/bin/bash -c '/usr/bin/ip link set enp3s0f1v1 up'
ExecStartPre=/usr/bin/bash -c '/usr/bin/ip link set enp3s0f1v2 up'
ExecStart=/usr/bin/bash -c '/usr/bin/ip link set enp3s0f1v3 up'
Restart=on-failure
 
[Install]
WantedBy=multi-user.target
```

注册开机启动服务

```
systemctl daemon-reload
systemctl enable sriov.service
```

重启

```
reboot
```

# 扩展阅读

[Linux 内核引导选项简介](http://www.jinbuguo.com/kernel/boot_parameters.html)

[虚拟化笔记](https://cloud.tencent.com/developer/column/91061)

最后修改：2022 年 06 月 02 日

如果觉得我的文章对你有用，请随意赞赏

2 条评论

Sandy
January 19th, 2023 at 04:15 pm

亲，我truenas虚拟机直通时提示了[EFAULT] internal error: qemu unexpectedly closed the monitor: 2023-01-19T08:13:58.821697Z qemu-system-x86_64: -device vfio-pci,host=0000:06:00.0,id=hostdev0,bus=pci.0,addr=0x6: vfio 0000:06:00.0: group 8 is not viable Please ensure all devices within the iommu_group are bound to their vfio bus driver.
我的机器是AMD的4750GE+B550M, 想要直通的是主板自带的螃蟹2.5g网卡，请教我是哪里配置可能有问题？感谢你的回复thx

回复
1. yfst11
  February 7th, 2023 at 03:45 pm
  
  @Sandy
  
  bios设置把pci ari support打开（在iommu一个页面）
  
  回复

发表评论取消回复

评论 *

私密评论

名称 *

🎲

邮箱 *

地址

xzYie
请问解决了吗？我也是同样的问题
zayne
我想了一下，你这步骤里漏了关键的一步。导致大部分人估计都没搞明...
@lex
等等就好，你的系统性能一般或者网速比较慢
牛牛
排除端口的规则是不是需要放在分流的规则之上，这样才有效
王先生女士
请教下我添加nextcloud，我部署了traefik，也部署...

TrueNAS SCALE开启iommu分组，PCIe直通，开启网卡SR-IOV|How to enable IOMMU and SR-IOV for PCI passthrough

sagit • 2022 年 02 月 26 日

[ ](https://www.bilibili.com/video/BV1r34y1k7Hi/)

# 介绍

目前版本默认没有开启iommu分组，体现在一张多网口网卡不能只直通一个网口

下面就教大家如何开启iommu分组和开启网卡的SR-IOV

# iommu开启

用ssh工具链接NAS

```
nano /usr/share/grub/default/grub
```

![image.png](https://www.truenasscale.com/usr/uploads/2022/02/3472748561.png)

在`GRUB_CMDLINE_LINUX_DEFAULT="quiet"`内加入
`intel_iommu=on`
`iommu=pt`
`pcie_acs_override=downstream`

按Ctrl +X 退出，Y 保存

最终为

```
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream"
```

如果是AMD的CPU，那就是

```
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pcie_acs_override=downstream"
```

然后更新一下

```
update-grub
```

重启生效，系统更新后失效（除非官方加入参数）

## 如果未生效

添加允许不安全的中断的配置

```
echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf
```

刷新内核

```
update-initramfs -u
```

重启一下验证

# 开启网卡SR-IOV

## 查询网卡是否支持SR-IOV

```
lspci -nn | grep Eth
```

![image.png](https://www.truenasscale.com/usr/uploads/2022/02/3845825964.png)

这里可以看到我的网卡和地址，下面查询万兆网卡（03:00.0 ）是否支持SR-IOV

```
lspci -s 03:00.0 -vvv | grep Capabilities
```

![image.png](https://www.truenasscale.com/usr/uploads/2022/02/2978685950.png)

可以看到最后面写了SR-IOV，那就是支持，没有写就是不支持

## 查询网卡最大虚拟设备数

```
cat /sys/bus/pci/devices/0000:设备ID/sriov_totalvfs
```

![image.png](https://www.truenasscale.com/usr/uploads/2022/02/2666931497.png)

如图我的这个网卡支持最大虚拟设备数为63

## 测试SR-IOV网卡生成

测试虚拟4个网口

```
echo 4 > /sys/class/net/enp3s0f1/device/sriov_numvfs
```

![image.png](https://www.truenasscale.com/usr/uploads/2022/02/3735693268.png)

enp3s0f1是系统里的网卡名，执行`ip addr`查看或者在webUI-网络查看

然后执行

```
lspci
```

查看是否成功
![image.png](https://www.truenasscale.com/usr/uploads/2022/02/3384211483.png)
如图成功了

## 注册系统服务，固定SR-IOV

首先创建启动脚本

```
cd /etc/systemd/system
```

```
vi sriov.service
```

也可以用finalshell编辑

注册开机启动服务

```
systemctl daemon-reload
systemctl enable sriov.service
```

重启

```
reboot
```

# 扩展阅读

[Linux 内核引导选项简介](http://www.jinbuguo.com/kernel/boot_parameters.html)

[虚拟化笔记](https://cloud.tencent.com/developer/column/91061)

TrueNAS SCALE开启iommu分组，PCIe直通，开启网卡SR-IOV|How to enable IOMMU and SR-IOV for PCI passthrough

2 条评论

发表评论取消回复

使用RouterOS，OSPF 和OpenWRT给国内外 IP 分流

TrueNAS APP应用添加TrueCharts社区catalog目录

TrueNAS SCALE APP应用安装教程，自定义app安装

RouterOS使用IP地址列表分流，分流给旁路由或者VPN

TrueNAS SCALE 常见错误排错（持续更新）

TrueNAS SCALE 常见错误排错（持续更新）

如何通过frp内网穿透，在本地搭建网站

如何利用码云自动备份网站

TrueNAS SCALE小白级安装设置教程（物理机）

TrueNAS SCALE 实现IP camera自动检测，人脸识别，自动化，警报（NVR+AI+通知）

TrueNAS SCALE开启iommu分组，PCIe直通，开启网卡SR-IOV|How to enable IOMMU and SR-IOV for PCI passthrough

2 条评论

发表评论 取消回复

TrueNAS SCALE开启iommu分组，PCIe直通，开启网卡SR-IOV|How to enable IOMMU and SR-IOV for PCI passthrough

发表评论取消回复